JP3572252B2 - Method and apparatus for aligning photographed image and range data, and recording medium recording program for executing the method - Google Patents
Method and apparatus for aligning photographed image and range data, and recording medium recording program for executing the method Download PDFInfo
- Publication number
- JP3572252B2 JP3572252B2 JP2000348020A JP2000348020A JP3572252B2 JP 3572252 B2 JP3572252 B2 JP 3572252B2 JP 2000348020 A JP2000348020 A JP 2000348020A JP 2000348020 A JP2000348020 A JP 2000348020A JP 3572252 B2 JP3572252 B2 JP 3572252B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- calculated
- amount
- unevenness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、３次元モデルを生成する手法に関して、特に、対象画像を構成する各画素に奥行き情報を付与するための、実写画像とレンジデータの位置合わせ方法及び装置に関するものである。
【０００２】
【従来の技術】
近年、景観のシミュレーションやアミューズメント利用を目的として、精度の高い見た目にもきれいな３次元モデルを利用したいという要望が高まっている。このようなモデルには、精度の高い見た目にもきれいなリアリティの高いものが要求されるので、実写による画像情報に奥行き情報を付与するという手法がしばしば利用される。
【０００３】
このような奥行き情報をより高精度に取得する手段として、これまで、レーザ測距装置などを利用してレンジデータを計測するという技術が開発されている。例えば、公表平１１−５０８３５９号あるいは特開平８−２１７２９号に記載の装置が開発され、比較的簡単にレンジデータを取得することができる。このレンジデータを利用することにより、実写による画像情報に奥行き情報を付与し、３次元モデルを生成することが可能となる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述したようなレンジデータには、一般的に計測誤差が多く含まれている。また、他の方法により撮影された実写画像についても、撮影したカメラの位置情報や姿勢情報は撮影状況によって誤差が大きくなっている。このような各データを計測する際に生じる誤差の影響により、レンジデータと実写画像の間で位置すれが生じてしまう。このようなデータをそのまま利用すると、実際の距離とは異なる奥行き情報を持った３次元モデルが生成されることになり、見た目のきれいさや精度を求められるような場合での効果的な利用は難しい。また、精度を上げようとすると、このような情報を取得するためのセンサが大きくなったり、高額になったりする。そのため、ヘリコプターや大きなワゴン車といったものに載せる必要があり、例えば、人が持ち歩くといった状況での利用は難しい。
【０００５】
上述したように、従来の技術では、実写による画像情報に奥行き情報を高精度で付与することは難しい。このため、位置精度の高い情報を取得するための大がかりな装置を用意する必要がある。あるいは、人手を介して計測誤差の補正を行う必要がある。この誤差の補正は一意でなく計測された箇所によってばらばらであるため、この作業はかなりの時間と経験を要するものである。そのため、その省力化、更には自動化が強く望まれている。
【０００６】
本発明は上述したような従来の技術が有する問題点や技術的な背景に鑑みてなされたものであって、３次元モデルを生成する際の実写された対象画像を構成する各画素に奥行き情報を付与するための、実写画像とレンジデータの位置合わせ方法及び装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明の実写画像とレンジデータの位置合わせ方法は、実写した対象画像を構成する各画素に奥行き情報を付与し、３次元モデルを生成するための実写画像とレンジデータの位置合わせ方法であって、レンジデータから得られる奥行き情報から凹凸に関する凹凸特徴量を算出する凹凸特徴量算出処理手順と、対象画像の方向エッジ画像から画像に関する画像特徴量を算出する画像特徴量算出処理手順と、前記算出された凹凸特徴量及び前記算出された画像特徴量を利用して前記対象画像と前記レンジデータの位置合わせを行う位置補正処理手順とを有し、
前記凹凸特徴量算出処理手順では、対象点と該対象点について座標軸方向の前後に隣接する２点を含む連続する４点の当該座標軸方向の凹凸を算出し、該凹凸が規定した「平ら（→）、のぼり（↑）、平ら（→）」または「平ら（→）、下り（↓）、平ら（→）」のパターンのいずれかに該当するパターンを有する場合、その対象点に対して、各座標軸方向におけるパターンが前記規定したパターンのいずれかの旨の情報、及び当該対象点の位置情報と含む情報である、凹凸特徴量として算出するとともに、当該対象点を、各方向共に同じパターンを有する各凹凸特徴量を有し、かつ、その間の最短距離が閾値を満たす集まりに分類し、その分類に基づき、当該対象点の凹凸特徴量に分類番号を付与すること、
前記画像特徴量算出処理手順では、対象画像の方向エッジ画像をある方向にスキャンして、対象画素と逆方向のエッジ画素から構成されるエッジペアの間隔が閾値を満たす場合、その方向、及び位置を画像特徴量として算出すること、
前記位置補正処理手順では、
指定された方向を有する画像特徴量と凹凸特徴量とを取得した後、同じ分類番号を有する凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後、この算出した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出した後、この算出された距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、この算出値を処理対象集合毎の移動量候補とする移動量投票処理手順と、
前記算出した処理対象集合毎の移動量候補において、移動量が閾値を満たす候補を削除した後、処理対象となる処理対象集合の構成点から指定された方向にスキャンして、隣接する他の処理対象集合を算出し、該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値を持たす組み合わせを算出し、これらの組み合わせの中で、得票数が最大の組み合わせを算出した後に、該処理対象集合と隣接する処理対象集合の間の領域の移動量を算出する移動量算出処理手順とを有することを特徴とする。
【０００８】
前記移動量投票処理手順では、Ｘ方向またはＹ方向を有する凹凸特徴量と画像特徴量を取得し、同じ分類番号を有する前記凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後に、取得した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出し、その距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、これを移動量候補とするとよい。
【０００９】
前記移動量算出処理手順では、Ｘ方向またはＹ方向の移動量のうち、移動量の大きい方の方向での移動量の算出を行なうとよい。
【００１０】
本発明の実写画像とレンジデータの位置合わせ装置は、実写した対象画像を構成する各画素に奥行き情報を付与し、３次元モデルを生成するための実写画像とレンジデータの位置合わせ装置であって、レンジデータから得られる奥行き情報から凹凸に関する凹凸特徴量を算出する凹凸特徴量算出処理手段と、対象画像の方向エッジ画像から画像に関する画像特徴量を算出する画像特徴量算出処理手段と、前記算出された凹凸特徴量、及び前記算出された画像特徴量を利用して、実写画像とレンジデータの位置合わせを行う位置補正処理手段とを備え、
前記凹凸特徴量算出処理手段は、対象点と該対象点について座標軸方向の前後に隣接する２点を含む連続する４点の当該座標軸方向の凹凸を算出し、該凹凸が規定した「平ら（→）、のぼり（↑）、平ら（→）」または「平ら（→）、下り（↓）、平ら（→）」のパターンのいずれかに該当するパターンを有する場合、その対象点に対して、各座標軸方向におけるパターンが前記規定したパターンのいずれかの旨の情報、及び当該対象点の位置情報と含む情報である、凹凸特徴量として算出するとともに、当該対象点を、各方向共に同じパターンを有する各凹凸特徴量を有し、かつ、その間の最短距離が閾値を満たす集まりに分類し、その分類に基づき、当該対象点の凹凸特徴量に分類番号を付与すること、
前記画像特徴量算出処理手段は、対象画像の方向エッジ画像をある方向にスキャンして、対象画素と逆方向のエッジ画素から構成されるエッジペアの間隔が閾値を満たす場合、その方向、及び位置を画像特徴量として算出すること
前記位置補正処理手段は、
指定された方向を有する画像特徴量と凹凸特徴量とを取得した後、同じ分類番号を有する凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後、この算出した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出した後、この算出された距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、この算出値を処理対象集合毎の移動量候補とする移動量投票処理手段と、
前記算出した処理対象集合毎の移動量候補において、移動量が閾値を満たす候補を削除した後、処理対象となる処理対象集合の構成点から指定された方向にスキャンして、隣接する他の処理対象集合を算出し、該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値を持たす組み合わせを算出し、これらの組み合わせの中で、得票数が最大の組み合わせを算出した後に、該処理対象集合と隣接する処理対象集合の間の領域の移動量を算出する移動量算出処理手段とを備えたことを特徴とする。
【００１１】
前記移動量投票処理手段としては、Ｘ方向またはＹ方向を有する凹凸特徴量と画像特徴量を取得し、同じ分類番号を有する前記凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後に、取得した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出し、その距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、これを移動量候補とするものがある。
【００１２】
前記移動量算出処理手段としては、Ｘ方向またはＹ方向の移動量のうち、移動量の大きい方の方向での移動量の算出を行なうものがある。
【００１３】
本発明の実写画像とレンジデータの位置合わせ方法は、前記実写画像とレンジデータの位置合わせ方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に記録すれば、コンピュータによって実施できる。
【００１６】
本発明では、対象画像を構成する各画素に奥行き情報を付与するための実写画像とレンジデータの位置合わせをする際、レンジデータから抽出した凹凸特徴量（例えば、凹凸のパターン）に関する特徴量、及び画像特徴量（例えば、対象画像から抽出したエッジペア）に関する特徴量を利用して、実写画像とレンジデー夕の位置合わせを行うことにより、その位置合わせを高精度に行い、きれいな３次元モデルを生成する。
【００１７】
また、レンジデータから対象点とそれに隣接する点との凹凸を算出し、凹凸が特定のパターンを有する場合、その方向におけるパターン、及び位置を凹凸特徴量として算出することにより、位置合わせのための移動量の推定においてレンジデータの計測誤差により生じるノイズを軽減し、非常に効率の良い高速な処理を実現する。
【００１８】
また、対象画像の方向エッジ画像をある方向にスキャンして、ある対象画素と逆方向のエッジ画素までの間隔が閾値を満たす場合の画素の対をエッジペアとして算出すること、更には、その方向、及び位置を画像特徴量として算出することにより、位置合わせのための移動量の推定において、画像処理により生じるノイズを軽減し、効率の良い非常に高速な処理を実現する。
【００１９】
また、算出された凹凸特徴量、及び画像特徴量に対して、同じ凹凸パターンを有する凹凸特徴量の集まりを処理単位として、特徴量の方向が一致するものだけを移動量の投票処理の対象にすることにより、移動量の推定におけるノイズを軽減し、移動量の推定の高精度化、高速化を実現する。
【００２０】
また、算出された前記処理単位の移動量、及び隣接する処理単位における移動量を指定された方向に対して比例配分して、該処理単位間の領域の移動量を算出することにより、特徴量として選択されない領域の移動量を算出し、移動量の推定の高精度化を実現する。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００２２】
本発明の一実施形態例の実写画像とレンジデータの位置合わせ方法を実現する装置の構成を図１に示す。
【００２３】
本実施形態例の装置は、オペレータから処理を受け付け、処理結果を３次元モデルデータベース７ヘ格納する入出力処理手段１と、レンジデータから得られる奥行き情報から対象点に隣接する点との凹凸を算出し、その凹凸が或る特定のパターンとなる凹凸に関する特徴量を算出する凹凸特徴量算出処理手段２と、対象画像の方向エッジ画像からエッジペアを算出し、その間隔が閾値を満たす画像に関する特徴量を算出する画像特徴量算出処理手段３と、前記処理手段２にて算出された凹凸特徴量、及び処理手段３にて算出された画像特徴量を利用して画像とレンジデータの位置合わせを行う位置補正処理処理手段４と、を備えている。
【００２４】
また、この位置補正処理処理手段４は、隣接する同じ分類の凹凸特徴量の集まりを処理単位として、処理対象となる方向を有する画像特徴量との位置の差を算出し投票処理を行うことにより移動量の候補を算出する移動量投票処理処理手段５と、前記処理手段５にて算出された移動量の候補から移動量を算出する方向において隣接する処理単位の移動量を考慮して移動量を決定する移動量算出処理処理手段６と、を備えている。
【００２５】
３次元モデルデータベース７は、画像の各画素に対する奥行き情報を含む３次元座標値のデータを含むデータを格納する。画像データベース８は、画像中の各フレームに対して、そのフレームが撮影されたカメラの位置情報（Ｘ，Ｙ，Ｚ）と姿勢情報（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）を含む撮影情報、及び画像情報（各画素のＲＧＢ値）を含むデータを格納する。また、レンジデータベース９は、格子上の点（ｉ，ｊ）に対する奥行きＲａｎｇｅ（ｉ，ｊ）、及びこの格子間隔、（０，０）に対応する座標値を含むデータを格納する。
【００２６】
入出力処理手段１は、オペレータからの指示により処理対象画像を受け付け、処理結果を３次元モデルデータベース７ヘ格納する。この処理は、図２に示す手順で以下のように行われる。
［ステップ１］ 画像データベースから処理対象となる画像情報（Ｔｉ）、及び撮影情報を取得する。
［ステップ２］ 取得された撮影情報から処理範囲を算出する。
［ステップ３］ レンジデータベースから処理範囲のレンジデータを取得する。
［ステップ４］ 凹凸特徴量算出処理を行う。
［ステップ５］ 画像特徴量算出処理を行う。
［ステップ６］ 位置補正処理を行う。
［ステップ７］ 対象となるすべての画像に対して処理が終わるまで、［ステップ１］〜［ステップ６］を繰り返す。
［ステップ８］ ３次元モデルデータベースに処理結果を格納する。
【００２７】
凹凸特徴量算出処理手段２は、レンジデータから得られる奥行き情報から対象点とそれに隣接する点との凹凸を算出し、その凹凸が或る特定のパターンとなる凹凸に関する特徴量を算出する。この処理は、図３に示す手順で以下のように行われる。
［ステップ１］ 対象点（ｉ，ｊ）に対して、（ｉ−１，ｊ）、（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ＋２，ｊ）とＸ方向にスキャンして、凹凸を算出する。
［ステップ２］ 算出された凹凸差が閾値を満たすかどうかを調べ、各対象点間の凹凸関係を↑、↓、→と分類する。
［ステップ３］ 分類された凹凸関係のパターンを調べ、凹凸特徴量ＤＦ＝（分類番号、Ｘ方向のパターン、Ｙ方向のパターン、位置）を格納する。→↑→となる場合には、（ＮＵＬＬ，Ｕｐ，ＮＵＬＬ，（ｉ，ｊ））、（ＮＵＬＬ，Ｕｐ，ＮＵＬＬ，（ｉ＋１，ｊ））となり、→↓→となる場合には、（ＮＵＬＬ，Ｄｏｗｎ，ＮＵＬＬ，（ｉ，ｊ））、（ＮＵＬＬ，Ｄｏｗｎ，ＮＵＬＬ，（ｉ＋１，ｊ））となる。
［ステップ４］ （ｉ，ｊ）に対して、（ｉ，ｊ−１）、（ｉ，ｊ）、（ｉ，ｊ＋１）、（ｉ，ｊ＋２）とＹ方向にスキャンして、凹凸を算出する。
［ステップ５］ 算出された凹凸差が閾値を満たすかどうかを調べ、各対象点間の凹凸関係を↑、↓、→と分類する。
［ステップ６］ 分類された凹凸関係のパターンを調べ、凹凸特徴量ＤＦを格納する。→↑→となる場合には、（ＮＵＬＬ，ＮＵＬＬ，Ｕｐ，（ｉ，ｊ））、（ＮＵＬＬ，ＮＵＬＬ，Ｕｐ，（ｉ＋１，ｊ））となり、→↓→となる場合には、（ＮＵＬＬ，ＮＵＬＬ，Ｄｏｗｎ，（ｉ，ｊ）、（ＮＵＬＬ，ＮＵＬＬ，Ｄｏｗｎ，（ｉ＋１，ｊ））となる。
［ステップ７］ 対象となるすべての（ｉ，ｊ）に対して処理が終わるまで、［ステップ１］〜［ステップ７］を繰り返す。
［ステップ８］ Ｘ方向、及びＹ方向共に同じパターンを有する各凹凸特徴量ＤＦで、その間の最短距離が閾値を満たす集まりに分類し、各ＤＦに分類番号を格納する。
【００２８】
この閾値は処理対象地域毎の値としてあらかじめ決めておくとしてもよいし、算出された特徴量の位置の分散幅に応じて動的に設定するとしてもよい。
【００２９】
画像特徴量算出処理手段３は、対象画像の方向エッジ画像からエッジペアを算出し、その間隔が閾値を満たす画像に関する特徴量を算出する。この処理は、図４に示す手順で以下のように行われる。
［ステップ１］ 画像情報Ｔｉから方向エッジ画像Ｔｅを算出する。
［ステップ２］ ＴｅのＸ方向の方向エッジを有する画素を対象として、ＴｅをＸ方向にスキャンして、ある対象画素と逆方向のエッジ画素までの間隔Ｄｉｓｔを算出する。
［ステップ３］ Ｄｉｓｔが閾値を満たす場合に、その画素の対をエッジペアとして算出し、画像特徴量ＩＦ＝（方向、位置）を格納する。ここでは、ＩＦ＝（Ｘ，（ｋ，ｌ））となる。
［ステップ４］ ＴｅのＹ方向の方向エッジを有する画素を対象として、ＴｅをＹ方向にスキャンして、ある対象画素と逆方向のエッジ画素までの間隔Ｄｉｓｔを算出する。
［ステップ５］ Ｄｉｓｔが閾値を満たす場合に、その画素の対をエッジペアとして算出し、画像特徴量ＩＦを格納する。ここでは、ＩＦ＝（Ｙ，（ｋ，ｌ））となる。
【００３０】
上記の閾値は、画像毎あるいは処理対象地域毎の値として、あらかじめ決めておくとしてもよいし、処理対象画像サイズに応じて動的に設定するとしてもよい。なお、この［ステップ１］の方向エッジ画像を算出する方法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。
【００３１】
位置補正処理手段４は、前記処理にて算出された凹凸特徴量、及び画像特徴量を利用して画像とレンジデータの位置合わせを行う。この処理は、図５に示す手順で以下のように行われる。
［ステップ１］ 凹凸特徴量ＤＦ、画像特徴量ＩＦを取得する。
［ステップ２］ Ｘ方向、及びＹ方向で移動量投票処理を行う。
［ステップ３］ 移動量候補の移動量が大きい方向を算出する。
［ステップ４］ 算出された方向で移動量算出処理を行う。
［ステップ５］ ＤＦの位置に算出された移動量を反映する。
［ステップ６］ 未処理の方向で移動量投票処理を行う。
［ステップ７］ 未処理の方向で移動量算出処理を行う。
【００３２】
なお、Ｘ方向、及びＹ方向で同時に処理を行うとして、先に算出された移動量を反映せずに処理するとしてもよい。
【００３３】
移動量投票処理手段５は、隣接する同じ分類の凹凸特徴量の集まりを処理単位として、処理対象となる方向を有する画像特徴量との位置の差を算出し、投票処理を行うことにより移動量の候補を算出する。この処理は、図６に示す手順で以下のように行われる。
［ステップ１］ 指定された方向を有する画像特徴量ＩＦ、及び凹凸特徴量ＤＦを取得する。
［ステップ２］ 同じ分類番号を有するＤＦをひとつの処理対象集合として、最短距離で結ばれる他ＤＦと接続した線分の構成点を全て算出する。
［ステップ３］ 算出した全ての点から指定された方向にスキャンして、重なるＩＦまでの距離を算出する。
［ステップ４］ 算出された距離毎の頻度を投票する。
［ステップ５］ 得票数／全投票数が閾値を満たす上位Ｎ個の移動量を算出し、処理対象集合毎の移動量候補とする。
［ステップ６］ 対象となるすべての処理対象集合に対して処理が終わるまで、［ステップ２］〜［ステップ５］を繰り返す。
【００３４】
なお、この［ステップ３］において距離を算出する際に、あらかじめ決められた距離よりも大きな場合は処理を行わず、処理効率を高めるとしてもよい。また、取得基準の第Ｎ位、及び閾値はあらかじめ決めておくとしてもよいし、最低の得票数を決めておいて動的に設定するとしてもよい。
【００３５】
移動量算出処理手段６は、前記手順にて算出された移動量の候補から移動量を決定する。この処理は、図７に示す手順で以下のように行われる。
［ステップ１］ 処理対象集合毎の移動量候補を取得し、移動量が閾値を満たす候補を削除する。
［ステップ２］ 処理対象となる処理対象集合の構成点から指定された方向にスキャンして、隣接する他の処理対象集合を算出し、取得する。
［ステップ３］ 該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値を持たす組み合わせを算出する。
［ステップ４］ これらの組み合わせの中で、得票数が最大の組み合わせを算出する。
［ステップ５］ 該処理対象集合と隣接する処理対象集合の間の領域の移動量を、指定された方向に対して各移動量を比例配分して算出する。
［ステップ６］ 対象となるすべての処理対象集合に対して処理が終わるまで、［ステップ１］〜［ステップ５］を繰り返す。
【００３６】
なお、この閾値はあらかじめ決めておくとしてもよいし、移動候補となった移動量の値から動的に設定するとしてもよい。
【００３７】
以降では、上述した処理手順を実際のデータに即して、具体的に示す。
【００３８】
入出力処理にて、オペレータから処理を受け付け、画像データベースから処理対象となる画像情報（Ｔｉ）、及び撮影情報を取得し、該撮影情報から処理範囲を算出し、レンジデータベースから該範囲のレンジデータを取得する。図８（ａ）の８０１にＴｉを、図８（ｂ）の８０２にレンジデータのＲａｎｇｅ（ｉ，ｊ）を濃淡値として画像で表したものを示す。
【００３９】
凹凸特徴量算出処理にて、対象点（ｉ，ｊ）に対して、（ｉ−１，ｊ）、（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ＋２，ｊ）とＸ方向にスキャンして、凹凸を算出し、その凹凸差が閾値を満たすかどうかを調べ、各対象点間の凹凸関係を↑、↓、→と分類し、その分類された凹凸関係のパターンを調べ、凹凸特徴量ＤＦを格納する。例えば、（ＮＵＬＬ，Ｕｐ，Ｕｐ，（ｉ，ｊ））となる位置（ｉ，ｊ）を示すと、図９（ａ）の９０１のようになる。更に、同じ方向、同じパターンを有する各ＤＦで、その間の最短距離が閾値を満たす集まりに分類し、各ＤＦに分類番号を格納する。例えば、図９（ａ）の９０１は、図９（ｂ）の９０２内の楕円で囲まれる９０３〜９０７の５つの集まりに分類できる。また、この図９（ａ）の９０１に表されている凹凸特徴量の位置を、図８（ａ）の８０１に表されているＴｉに重畳表示すると、図１０の１００１のようになる。この状態では、レンジデータの計測誤差や撮影情報の誤差のため、実写画像とレンジデータの位置がずれていることが分かる。
【００４０】
この画像情報Ｔｉに対して、画像特徴量算出処理にて、方向エッジ画像Ｔｅを算出する。例えば、Ｙ方向の方向エッジ画像を示すと、図１１の１１０１のようになる。ＴｅのＸ方向の方向エッジを有する画素を対象として、ＴｅをＸ方向にスキャンして、ある対象画素と逆方向のエッジ画素までの間隔を算出し、これが閾値を満たす場合に、その画素の対をエッジペアとして算出し、画像特徴量ＩＦを格納する。また、Ｙ方向についても、同様の処理を行う。
【００４１】
更に位置補正処理にて、凹凸特徴量ＤＦ、画像特徴量ＩＦを取得し、このＤＦ，ＩＦに対して、Ｘ方向、及びＹ方向で移動量投票処理を行う。移動量投票処理では、まず、Ｘ方向を有するＤＦ，ＩＦを取得する。同じ分類番号を有するＤＦをひとつの処理対象集合として、最短距離で結ばれる他ＤＦと接続した線分の構成点を全て算出する。次に、取得した全ての点から指定された方向にスキャンして、重なるＩＦまでの距離を算出し、その距離毎の頻度を投票する。こうして得られた得票数から、得票数／全投票数が閾値を満たす上位Ｎ個の移動量を取得し、移動量候補とする。これらの処理を対象となるすべての処理対象集合に対して行う。また、Ｙ方向についても、同様の処理を行う。例えば、図１２に示すような場合、算出された線分の構成点に対して、Ｙ方向にスキャンして重なるＩＦまでの距離が−２１，−１８，１６，１２，２４，２５，３８，４３となり、その距離毎に各１票ずつ投票されることになる。これを全ての構成点に対して処理を行い、移動量の候補を算出する。
【００４２】
次に、移動量候補の移動量が大きい方向を算出し、ここでは、Ｙ方向の移動量が大きかったとして、このＹ方向で移動量算出処理を行う。移動量算出処理では、まず、処理対象集合毎の移動量候補を取得し、移動量が閾値を満たす候補を削除する。処理対象となる処理対象集合の構成点から指定された方向にスキャンして、隣接する他の処理対象集合を算出し、該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値を持たす組み合わせを算出する。この元の位置関係と矛盾がない場合とは、例えば、図９（ｂ）の９０２に示すような場合、９０３〜９０７の元の位置関係が上下に入れ替わらないような場合である。これらの組み合わせの中で、得票数が最大の組み合わせを算出し、該処理対象集合と隣接する処理対象集合の間の領域の移動量を指定された方向に対して各移動量を比例配分して算出する。例えば、図１３の１３０１に示すように、隣接する２つの処理対象集合１３０２と１３０３の移動量が算出されたとすると、各構成点間の領域１３０４の移動量は１３０２と１３０３の移動量を比例配分して算出する。更に位置補正処理にて、凹凸特徴量ＤＦの位置に算出された移動量を反映し、Ｘ方向についても同様に処理を行う。こうして、実写画像とレンジデータの位置合わせが行われ、最後に、入出力処理にて、処理結果を３次元モデルデータベースヘ格納する。
【００４３】
なお、図１で示した装置各部の一部もしくは全部の機能を、コンピュータを用いて実現することができること、あるいは、図２〜図７で示した処理手順をコンピュータに実行させることができることは言うまでもなく、コンピュータでその各部の処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、ＦＤ（フロッピーディスク：登録商標）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したり、配布したりすることが可能である。
【００４４】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上記の実施形態例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【００４５】
【発明の効果】
本発明によれば、対象画像を構成する各画素に奥行き情報を付与するための実写画像とレンジデータの位置合わせをする際、レンジデータから抽出した凹凸（例えば、凹凸のパターン）に関する特徴量、及び対象画像から抽出した画像（例えばエッジペア）に関する特徴量を利用して、実写画像とレンジデータの位置合わせを行うようにしたので、その位置合わせを高精度に行うことができる効果が得られる。
【００４６】
また、レンジデータから対象点に隣接する点との凹凸を算出し、ある方向における凹凸が特定のパターンを有する場合、その方向、及び位置を凹凸特徴量として算出するようにしたので、位置合わせのための移動量の推定においてレンジデータの計測誤差により生じるノイズが軽減できる効果が得られる。
【００４７】
また、対象画像の方向エッジ画像をある方向にスキャンして、ある対象画素と逆方向のエッジ画素までの間隔が閾値を満たす場合の画素の対をエッジペアとして算出すること、更には、その方向、及び位置を画像特徴量として算出するようにしたので、移動量の推定において画像処理により生じるノイズが軽減できる効果が得られる。
【００４８】
また、算出された凹凸特徴量、及び画像特徴量に対して、同じ凹凸パターンを有する凹凸特徴量の集まりを処理単位として、特徴量の方向が一致するものだけを移動量の投票処理の対象にするようにしたので、位置合わせのための移動量の推定におけるノイズが軽減できる効果が得られる。
【００４９】
また、算出された前記処理単位の移動量、及び隣接する処理単位における移動量を指定された方向に対して比例配分して、該処理単位間の領域の移動量を算出するようにしたので、特徴量として選択されない領域の移動量を算出することができる効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施形態例における実写画像とレンジデータの位置合わせ方法を実現する装置の構成図である。
【図２】本実施形態例における入出力処理フローを説明するための図である。
【図３】本実施形態例における凹凸特徴量算出処理フローを説明するための図である。
【図４】本実施形態例における画像特徴量算出処理フローを説明するための図である。
【図５】本実施形態例における位置補正処理フローを説明するための図である。
【図６】本実施形態例における移動量投票処理フローを説明するための図である。
【図７】本実施形態例における移動量算出処理フローを説明するための図である。
【図８】本実施形態例における画像情報の一例（ａ）と、画像として表したレンジデータの一例（ｂ）とを説明する図である。
【図９】（ａ），（ｂ）は、本実施形態例における凹凸特徴量算出処理の一例を説明する図である。
【図１０】本実施形態例における凹凸特徴量の位置を画像情報に重畳表示したものの一例を説明する図である。
【図１１】本実施形態例におけるＹ方向の方向エッジ画像の一例を説明する図である。
【図１２】本実施形態例における移動量投票処理の一例を説明する図である。
【図１３】本実施形態例における移動量算出処理の一例を説明する図である。
【符号の説明】
１…入出力処理手段
２…凹凸特徴量算出処理手段
３…画像特徴量算出処理手段
４…位置補正処理手段
５…移動量投票処理手段
６…移動量算出処理手段
７…３次元モデルデータベース
８…画像データベース
９…レンジデータデータベース[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method for generating a three-dimensional model, and more particularly to a method and an apparatus for aligning a real image with range data for adding depth information to each pixel constituting a target image.
[0002]
[Prior art]
In recent years, there has been an increasing demand for using a beautiful three-dimensional model with a high-precision appearance for the purpose of simulating a landscape or using amusement. Since such a model is required to have a high-precision appearance and a high degree of realism, a technique of adding depth information to image information based on actual photography is often used.
[0003]
As a means for obtaining such depth information with higher accuracy, a technique of measuring range data using a laser distance measuring device or the like has been developed. For example, an apparatus described in Japanese Patent Application Laid-Open No. H11-508359 or Japanese Patent Application Laid-Open No. H8-21729 has been developed, and range data can be acquired relatively easily. By using this range data, it is possible to add depth information to the image information obtained by actual shooting and generate a three-dimensional model.
[0004]
[Problems to be solved by the invention]
However, the range data as described above generally includes many measurement errors. In addition, errors in position information and orientation information of a photographed camera also increase in a photographed image photographed by another method depending on a photographing situation. Due to the influence of such an error that occurs when measuring each data, a position shift occurs between the range data and the actually shot image. If such data is used as it is, a three-dimensional model having depth information different from the actual distance is generated, and it is difficult to use the data effectively when the appearance and accuracy are required. . In addition, in order to increase the accuracy, a sensor for acquiring such information becomes large or expensive. For this reason, it is necessary to mount the device on a helicopter or a large wagon, and it is difficult to use the device, for example, in a situation where a person carries the device.
[0005]
As described above, it is difficult with the conventional technique to add depth information to image information obtained by actual shooting with high accuracy. Therefore, it is necessary to prepare a large-scale device for acquiring information with high positional accuracy. Alternatively, it is necessary to correct the measurement error manually. This work requires considerable time and experience because the correction of this error is not unique and varies depending on the location measured. Therefore, labor saving and further automation are strongly desired.
[0006]
The present invention has been made in view of the above-described problems and technical backgrounds of the related art, and has a structure in which depth information is assigned to each pixel constituting a real image of a target image when a three-dimensional model is generated. It is an object of the present invention to provide a method and an apparatus for aligning a photographed image and range data to give the image data.
[0007]
[Means for Solving the Problems]
The method of aligning the real image and the range data of the present invention is as follows.This is a method of aligning a real image and range data to give depth information to each pixel constituting a real image of a target image and generate a three-dimensional model. , An image feature amount calculation processing procedure for calculating an image feature amount of an image from the directional edge image of the target image, and the calculated unevenness feature amount and the calculated image feature amount A position correction processing procedure for performing alignment between the target image and the range data usingHas,
In the unevenness feature amount calculation processing procedure, the unevenness in the coordinate axis direction of four consecutive points including the target point and two adjacent points in the coordinate axis direction before and after the target point is calculated, and the unevenness is defined as “flat (→ ), Climb (↑), flat (→) ”or“ flat (→), descent (↓), flat (→) ”. Information indicating that the pattern in the coordinate axis direction is any of the patterns defined above, and information including the position information of the target point, is calculated as an unevenness feature amount, and the target point has the same pattern in each direction. Having each concavo-convex feature amount, and classifying it into a group in which the shortest distance between them satisfies a threshold, and assigning a classification number to the concavo-convex feature amount of the target point based on the classification,
In the image feature value calculation processing procedure, the direction edge image of the target image is scanned in a certain direction, and when the interval between the edge pairs composed of the edge pixels in the opposite direction to the target pixel satisfies the threshold, the direction and the position are determined. Calculate as image features,
In the position correction processing procedure,
After acquiring the image feature amount and the unevenness feature amount having the designated direction, the unevenness feature amount having the same classification number is set as one processing target set, and a line segment connected to another unevenness feature amount connected at the shortest distance. After calculating all the constituent points of the above, scan in the designated direction from all the calculated points, calculate the distance to the overlapping image feature amount, and vote for the frequency of each calculated distance, A moving amount voting process procedure in which the ratio of the number of votes to the total number of votes satisfies a threshold value and the calculated value is used as a moving amount candidate for each processing target set;,
In the calculated moving amount candidates for each processing target set, after the candidate whose moving amount satisfies the threshold value is deleted, scanning is performed in a designated direction from a constituent point of the processing target set to be processed, and other adjacent processing is performed. Calculate the target set, in this combination, there is no inconsistency with the original positional relationship, calculate the combination in which the difference in the amount of movement has a threshold, and among these combinations, after calculating the combination with the largest number of votes, A moving amount calculation processing procedure for calculating a moving amount of a region between the processing target set and an adjacent processing target setIt is characterized by.
[0008]
In the moving amount voting process procedure, an unevenness feature amount and an image feature amount having the X direction or the Y direction are acquired, and the unevenness feature amount having the same classification number is set as one processing target set, and the other unevenness feature amount connected with the shortest distance is obtained. After calculating all the constituent points of the line segment connected to the concavo-convex feature amount, scan in the designated direction from all the obtained points, calculate the distance to the overlapping image feature amount, and calculate the frequency for each distance. Voting is performed, and a moving amount in which the ratio of the number of votes to the total number of votes satisfies the threshold is calculated, and this may be set as a moving amount candidate..
[0009]
In the moving amount calculation processing procedure, it is preferable to calculate the moving amount in the direction having the larger moving amount among the moving amounts in the X direction or the Y direction..
[0010]
An apparatus for aligning a real image and range data according to the present invention is an apparatus for aligning a real image and range data for adding depth information to each pixel constituting a real image of a target image and generating a three-dimensional model.,Unevenness feature amount calculation processing means for calculating unevenness feature amounts related to unevenness from depth information obtained from range data;,Image feature calculation processing means for calculating an image feature related to the image from the direction edge image of the target image;,A position correction processing unit that performs alignment between the real image and the range data by using the calculated unevenness feature amount and the calculated image feature amount.,
The concavo-convex feature amount calculation processing means calculates concavity and convexity in the coordinate axis direction of four consecutive points including the target point and two adjacent points before and after the target point in the coordinate axis direction, and defines “flat (→ ), Climb (↑), flat (→) ”or“ flat (→), descent (↓), flat (→) ”. The information in the coordinate axis direction is information indicating any one of the specified patterns, and the information including the position information of the target point, which is calculated as an unevenness feature amount.,The target point is classified into a set having each of the concavo-convex feature amounts having the same pattern in each direction, and the shortest distance therebetween satisfies a threshold. Based on the classification, the class number is assigned to the concavo-convex feature amount of the target point. To grant,
The image feature value calculation processing unit scans the direction edge image of the target image in a certain direction, and when the interval between the edge pairs composed of the edge pixels in the opposite direction to the target pixel satisfies the threshold, the direction and the position are determined. Calculate as image features
The position correction processing means,
After acquiring the image feature amount and the unevenness feature amount having the designated direction, the unevenness feature amount having the same classification number is set as one processing target set, and a line segment connected to another unevenness feature amount connected at the shortest distance. After calculating all the constituent points of the above, scan in the designated direction from all the calculated points, calculate the distance to the overlapping image feature amount, and vote for the frequency of each calculated distance, A moving amount voting processing means for calculating a moving amount in which the ratio of the number of votes to the total number of votes satisfies a threshold, and using the calculated value as a moving amount candidate for each processing target set;,
In the calculated moving amount candidates for each processing target set, after the candidate whose moving amount satisfies the threshold value is deleted, scanning is performed in a designated direction from a constituent point of the processing target set to be processed, and other adjacent processing is performed. Calculate the target set, in this combination, there is no inconsistency with the original positional relationship, calculate the combination in which the difference in the amount of movement has a threshold, and among these combinations, after calculating the combination with the largest number of votes, Moving amount calculation processing means for calculating a moving amount of a region between the processing target set and an adjacent processing target setIt is characterized by.
[0011]
As the moving amount voting processing means, a concavo-convex feature amount having an X direction or a Y direction and an image feature amount are acquired, and the concavo-convex feature amount having the same classification number is connected as a processing target set by a shortest distance. After calculating all the constituent points of the line segment connected to the concave / convex feature amount, scanning is performed in the designated direction from all the obtained points, and the distance to the overlapping image feature amount is calculated, and the frequency for each distance is calculated. Is calculated, and the ratio of the number of votes to the total number of votes satisfies a threshold value, and a movement amount is calculated..
[0012]
As the movement amount calculation processing means, there is a means for calculating a movement amount in a direction having a larger movement amount among movement amounts in an X direction or a Y direction..
[0013]
The method for aligning a real image and range data according to the present invention can be implemented by a computer if the method for aligning the real image and range data is recorded on a computer-readable recording medium that records a program for causing a computer to execute the method..
[0016]
According to the present invention, when aligning a real image and a range data for assigning depth information to each pixel constituting a target image, a feature amount related to an uneven feature amount (for example, an uneven pattern) extracted from the range data; By using a feature amount related to an image feature amount (eg, an edge pair extracted from a target image) and performing alignment between a real image and a range data, the alignment is performed with high accuracy, and a beautiful three-dimensional model is generated. I do.
[0017]
Further, the unevenness between the target point and the point adjacent thereto is calculated from the range data, and when the unevenness has a specific pattern, the pattern and the position in that direction are calculated as the unevenness feature amount, so that the alignment is performed. In the estimation of the movement amount, noise caused by a measurement error of the range data is reduced, and very efficient and high-speed processing is realized.
[0018]
In addition, the direction edge image of the target image is scanned in a certain direction, and a pair of pixels in a case where an interval between a certain target pixel and an edge pixel in the opposite direction satisfies a threshold value is calculated as an edge pair. By calculating the position and the position as the image feature amount, in estimating the movement amount for positioning, noise generated by image processing is reduced, and efficient and very high-speed processing is realized.
[0019]
Also, with respect to the calculated concavo-convex feature amount and the image feature amount, a set of concavo-convex feature amounts having the same concavo-convex pattern is used as a processing unit, and only those having the same feature amount direction are subjected to the moving amount voting process. By doing so, noise in the estimation of the movement amount is reduced, and the accuracy and speed of estimation of the movement amount are realized.
[0020]
Further, the calculated amount of movement of the processing unit and the amount of movement in an adjacent processing unit are proportionally distributed to a designated direction, and the amount of movement of the region between the processing units is calculated, thereby obtaining the characteristic amount. The movement amount of the area not selected as is calculated, and the accuracy of the movement amount estimation is improved.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0022]
FIG. 1 shows the configuration of an apparatus for realizing a method for aligning a real image and range data according to an embodiment of the present invention.
[0023]
The apparatus according to the present embodiment accepts processing from an operator, and stores input / output processing means 1 for storing the processing result in a three-dimensional model database 7 and detects irregularities between points adjacent to a target point based on depth information obtained from range data. The unevenness feature amount calculation processing means 2 for calculating and calculating a feature amount related to unevenness whose unevenness is a specific pattern, and an edge pair calculated from a directional edge image of the target image, and a feature related to an image whose interval satisfies a threshold value The image feature amount calculation processing means 3 for calculating the amount, the unevenness feature amount calculated by the processing means 2 and the image feature amount calculated by the processing means 3 are used to align the image and the range data. And a position correction processing means 4 for performing the correction.
[0024]
The position correction processing means 4 calculates a difference between the position of an image feature having a direction to be processed and performs a voting process by using a group of adjacent unevenness feature of the same classification as a processing unit. A moving amount voting processing means 5 for calculating a moving amount candidate, and a moving amount in consideration of a moving amount of an adjacent processing unit in a direction in which the moving amount is calculated from the moving amount candidates calculated by the processing means 5 And a movement amount calculation processing means 6 for determining the distance.
[0025]
The three-dimensional model database 7 stores data including three-dimensional coordinate value data including depth information for each pixel of an image. The
[0026]
The input /
[Step 1] Image information (Ti) to be processed and shooting information are acquired from the image database.
[Step 2] A processing range is calculated from the acquired photographing information.
[Step 3] Range data of the processing range is acquired from the range database.
[Step 4] An unevenness feature amount calculation process is performed.
[Step 5] An image feature amount calculation process is performed.
[Step 6] A position correction process is performed.
[Step 7] [Step 1] to [Step 6] are repeated until the processing for all the target images is completed.
[Step 8] The processing result is stored in the three-dimensional model database.
[0027]
The unevenness feature amount calculation processing means 2 calculates the unevenness between the target point and a point adjacent thereto from the depth information obtained from the range data, and calculates the feature amount related to the unevenness in which the unevenness has a specific pattern. This processing is performed as follows in the procedure shown in FIG.
[Step 1] The target point (i, j) is scanned in the X direction as (i−1, j), (i, j), (i + 1, j), (i + 2, j), and unevenness is determined. calculate.
[Step 2] It is checked whether or not the calculated unevenness difference satisfies a threshold value, and the unevenness relationship between the target points is classified as ↑, ↓, →.
[Step 3] The classified concavo-convex pattern is examined, and the concavo-convex feature amount DF = (classification number, X-direction pattern, Y-direction pattern, position) is stored. If → ↑ →, then (NULL, Up, NULL, (i, j)), (NULL, Up, NULL, (i + 1, j)), and if → ↓ →, (NULL, Down, NULL, (i, j)) and (NULL, Down, NULL, (i + 1, j)).
[Step 4] Scan (i, j-1), (i, j), (i, j + 1), and (i, j + 2) in the Y direction with respect to (i, j) to calculate unevenness. .
[Step 5] It is checked whether the calculated unevenness difference satisfies a threshold value, and the unevenness relationship between the target points is classified as ↑, ↓, →.
[Step 6] The classified pattern of the unevenness relation is examined, and the unevenness feature amount DF is stored. If → ↑ →, then (NULL, NULL, Up, (i, j)), (NULL, NULL, Up, (i + 1, j)), and if → ↓ →, (NULL, NULL, Down, (i, j) and (NULL, NULL, Down, (i + 1, j)).
[Step 7] [Step 1] to [Step 7] are repeated until the processing is completed for all target (i, j).
[Step 8] For each of the concavo-convex feature values DF having the same pattern in both the X direction and the Y direction, they are classified into a set whose shortest distance therebetween satisfies a threshold value, and a classification number is stored in each DF.
[0028]
This threshold value may be determined in advance as a value for each processing target area, or may be dynamically set according to the calculated dispersion width of the position of the feature amount.
[0029]
The image feature value
[Step 1] A direction edge image Te is calculated from the image information Ti.
[Step 2] Te is scanned in the X direction with respect to pixels having an edge in the X direction of Te, and an interval Dist between a target pixel and an edge pixel in the opposite direction is calculated.
[Step 3] When Dist satisfies the threshold value, the pixel pair is calculated as an edge pair, and the image feature amount IF = (direction, position) is stored. Here, IF = (X, (k, l)).
[Step 4] With respect to a pixel having an edge in the Y direction of Te, Te is scanned in the Y direction to calculate an interval Dist between a certain target pixel and an edge pixel in the opposite direction.
[Step 5] When Dist satisfies the threshold value, the pixel pair is calculated as an edge pair, and the image feature amount IF is stored. Here, IF = (Y, (k, l)).
[0030]
The threshold value may be determined in advance as a value for each image or each processing target area, or may be dynamically set according to the processing target image size. Since the method of calculating the direction edge image in [Step 1] is not particularly different from the conventional method, a detailed description thereof will be omitted here.
[0031]
The position correction processing unit 4 performs position alignment between the image and the range data using the unevenness feature amount and the image feature amount calculated in the above processing. This process is performed as follows in the procedure shown in FIG.
[Step 1] An unevenness feature amount DF and an image feature amount IF are acquired.
[Step 2] The moving amount voting process is performed in the X direction and the Y direction.
[Step 3] The direction in which the movement amount of the movement amount candidate is large is calculated.
[Step 4] A movement amount calculation process is performed in the calculated direction.
[Step 5] The calculated movement amount is reflected on the position of the DF.
[Step 6] The moving amount voting process is performed in the unprocessed direction.
[Step 7] A movement amount calculation process is performed in an unprocessed direction.
[0032]
In addition, assuming that the processing is performed simultaneously in the X direction and the Y direction, the processing may be performed without reflecting the movement amount calculated previously.
[0033]
The movement amount voting processing means 5 calculates a difference in position from an image feature amount having a direction to be processed by using a set of adjacent unevenness feature amounts of the same classification as a processing unit, and performs a voting process to thereby calculate a movement amount. Is calculated. This processing is performed as follows in the procedure shown in FIG.
[Step 1] An image feature amount IF having a designated direction and an unevenness feature amount DF are acquired.
[Step 2] With DFs having the same classification number as one processing target set, all the constituent points of line segments connected to other DFs connected at the shortest distance are calculated.
[Step 3] Scan in the designated direction from all the calculated points to calculate the distance to the overlapping IF.
[Step 4] Vote for the calculated frequency for each distance.
[Step 5] The top N moving amounts for which the number of votes / the total number of votes satisfy the threshold are calculated and set as moving amount candidates for each processing target set.
[Step 6] [Step 2] to [Step 5] are repeated until the processing is completed for all target processing target sets.
[0034]
When calculating the distance in [Step 3], if the distance is larger than a predetermined distance, the processing may not be performed and the processing efficiency may be increased. Further, the Nth place and the threshold value of the acquisition criterion may be determined in advance, or the minimum number of votes may be determined and dynamically set.
[0035]
The movement amount calculation processing means 6 determines the movement amount from the candidates of the movement amount calculated in the above procedure. This processing is performed as follows in the procedure shown in FIG.
[Step 1] A moving amount candidate for each processing target set is acquired, and a candidate whose moving amount satisfies a threshold is deleted.
[Step 2] Scan in the designated direction from the constituent points of the processing target set to be processed, and calculate and acquire another adjacent processing target set.
[Step 3] With this combination, a combination that has no inconsistency with the original positional relationship and whose difference in the amount of movement has a threshold value is calculated.
[Step 4] Among these combinations, the combination with the largest number of votes is calculated.
[Step 5] The movement amount of the region between the processing target set and the adjacent processing target set is calculated by proportionally distributing each movement amount in the designated direction.
[Step 6] [Step 1] to [Step 5] are repeated until the processing is completed for all target processing target sets.
[0036]
Note that this threshold may be determined in advance, or may be dynamically set from the value of the movement amount that has become a movement candidate.
[0037]
Hereinafter, the above-described processing procedure will be specifically described according to actual data.
[0038]
In input / output processing, processing is received from an operator, image information (Ti) to be processed and shooting information are obtained from an image database, a processing range is calculated from the shooting information, and range data of the range is calculated from the range database. To get. FIG. 8A shows an
[0039]
In the concavo-convex feature amount calculation processing, the target point (i, j) is scanned in the X direction as (i-1, j), (i, j), (i + 1, j), (i + 2, j). Calculate the unevenness, check whether the difference of the unevenness satisfies the threshold, classify the unevenness relationship between each target point as ↑, ↓, →, examine the pattern of the classified unevenness relationship, DF is stored. For example, a position (i, j) indicating (NULL, Up, Up, (i, j)) is as shown in 901 in FIG. 9A. Further, each DF having the same direction and the same pattern is classified into a group in which the shortest distance between the DFs satisfies a threshold value, and a classification number is stored in each DF. For example, 901 in FIG. 9A can be classified into five
[0040]
A direction edge image Te is calculated for the image information Ti by an image feature amount calculation process. For example, a direction edge image in the Y direction is shown as 1101 in FIG. Scanning Te in the X direction with respect to a pixel having an edge in the X direction of Te, calculating an interval between a target pixel and an edge pixel in the opposite direction, and when this satisfies a threshold value, a pair of the pixel is determined. Is calculated as an edge pair, and the image feature amount IF is stored. The same processing is performed for the Y direction.
[0041]
Further, in the position correction process, the unevenness feature amount DF and the image feature amount IF are acquired, and the movement amount voting process is performed on the DF and IF in the X direction and the Y direction. In the moving amount voting process, first, DF and IF having the X direction are obtained. With the DFs having the same classification number as one processing target set, all the constituent points of the line segments connected to other DFs connected at the shortest distance are calculated. Next, scanning is performed from all the acquired points in the designated direction, the distance to the overlapping IF is calculated, and the frequency for each distance is voted. From the number of votes obtained in this way, the top N number of movement amounts where the number of votes / the total number of votes satisfy the threshold value are acquired and set as movement amount candidates. These processes are performed for all target processing target sets. The same processing is performed for the Y direction. For example, in the case as shown in FIG. 12, the distance to the IF that scans in the Y direction and overlaps with the calculated component point of the line segment is −21, −18, 16, 12, 24, 25, 38, 43, and one vote is cast for each distance. This is processed for all the constituent points to calculate the movement amount candidates.
[0042]
Next, a direction in which the movement amount of the movement amount candidate is large is calculated. Here, assuming that the movement amount in the Y direction is large, the movement amount calculation processing is performed in this Y direction. In the movement amount calculation process, first, a movement amount candidate for each processing target set is acquired, and a candidate whose movement amount satisfies a threshold is deleted. Scan in the designated direction from the constituent points of the processing target set to be processed, calculate other adjacent processing target sets, and in this combination, there is no inconsistency with the original positional relationship and the difference in the movement amount is the threshold. Is calculated. The case where there is no inconsistency with the original positional relationship is, for example, the case where the original positional relationship of 903 to 907 does not change up and down in the case as shown by 902 in FIG. 9B. Among these combinations, the combination with the largest number of votes is calculated, and the movement amount of the area between the processing target set and the adjacent processing target set is proportionally distributed to each movement amount in the designated direction. calculate. For example, as shown by 1301 in FIG. 13, if the movement amounts of two adjacent processing object sets 1302 and 1303 are calculated, the movement amount of the
[0043]
It goes without saying that some or all of the functions of each unit shown in FIG. 1 can be realized using a computer, or the computer can execute the processing procedures shown in FIGS. In addition, a program for realizing the processing function of each unit in the computer or a program for causing the computer to execute the processing procedure is stored in a storage medium readable by the computer, for example, FD (Floppy Disk: registered trademark) Alternatively, it can be recorded on an MO, a ROM, a memory card, a CD, a DVD, a removable disk, or the like, and saved, provided, or distributed.
[0044]
As described above, the present invention has been specifically described based on the embodiment. However, it is needless to say that the present invention is not limited to the above-described embodiment and can be variously changed without departing from the gist thereof. Absent.
[0045]
【The invention's effect】
According to the present invention, when aligning a real image for assigning depth information to each pixel constituting a target image with range data, feature amounts relating to unevenness (for example, unevenness pattern) extracted from the range data, In addition, since the actual photographed image and the range data are aligned using the feature amount of the image (for example, the edge pair) extracted from the target image, the effect that the alignment can be performed with high accuracy is obtained.
[0046]
Also, the unevenness between the point adjacent to the target point is calculated from the range data, and when the unevenness in a certain direction has a specific pattern, the direction and the position are calculated as the unevenness feature amount. In which the noise caused by the measurement error of the range data can be reduced in estimating the amount of movement for this purpose.
[0047]
In addition, the direction edge image of the target image is scanned in a certain direction, and a pair of pixels in a case where an interval between a certain target pixel and an edge pixel in the opposite direction satisfies a threshold value is calculated as an edge pair. And the position are calculated as the image feature amount, so that the effect of reducing noise caused by image processing in estimating the movement amount can be obtained.
[0048]
Also, with respect to the calculated concavo-convex feature amount and the image feature amount, a set of concavo-convex feature amounts having the same concavo-convex pattern is used as a processing unit, and only those having the same feature amount direction are subjected to the moving amount voting process. Therefore, the effect of reducing noise in estimating the movement amount for positioning can be obtained.
[0049]
Further, since the calculated movement amount of the processing unit and the movement amount in the adjacent processing unit are proportionally distributed to the designated direction, and the movement amount of the region between the processing units is calculated, The effect of being able to calculate the movement amount of the region not selected as the feature amount is obtained.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an apparatus for realizing a method of aligning a real image and range data according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining an input / output processing flow in the embodiment.
FIG. 3 is a diagram illustrating a flow of a concave / convex feature amount calculation process according to the embodiment;
FIG. 4 is a diagram for explaining an image feature amount calculation processing flow in the embodiment.
FIG. 5 is a diagram for describing a position correction processing flow in the embodiment.
FIG. 6 is a diagram for explaining a movement amount voting process flow in the embodiment.
FIG. 7 is a diagram for explaining a movement amount calculation processing flow in the embodiment.
FIG. 8 is a diagram illustrating an example of image information (a) and an example of range data represented as an image (b) in the embodiment.
FIGS. 9A and 9B are diagrams illustrating an example of a concave / convex feature amount calculation process according to the embodiment;
FIG. 10 is a diagram illustrating an example in which the position of the unevenness feature amount is superimposed and displayed on image information according to the embodiment.
FIG. 11 is a diagram illustrating an example of a direction edge image in the Y direction according to the embodiment.
FIG. 12 is a diagram illustrating an example of a movement amount voting process according to the embodiment.
FIG. 13 is a diagram illustrating an example of a movement amount calculation process according to the embodiment.
[Explanation of symbols]
1. Input / output processing means
2 ... unevenness feature amount calculation processing means
3. Image feature amount calculation processing means
4. Position correction processing means
5. Moving amount voting processing means
6. Moving amount calculation processing means
7 ... 3D model database
8. Image database
9 ... Range data database
Claims (7)
レンジデータから得られる奥行き情報から凹凸に関する凹凸特徴量を算出する凹凸特徴量算出処理手順と、
対象画像の方向エッジ画像から画像に関する画像特徴量を算出する画像特徴量算出処理手順と、
前記算出された凹凸特徴量及び前記算出された画像特徴量を利用して前記対象画像と前記レンジデータの位置合わせを行う位置補正処理手順とを有し、
前記凹凸特徴量算出処理手順では、対象点と該対象点について座標軸方向の前後に隣接する２点を含む連続する４点の当該座標軸方向の凹凸を算出し、該凹凸が規定した「平ら（→）、のぼり（↑）、平ら（→）」または「平ら（→）、下り（↓）、平ら（→）」のパターンのいずれかに該当するパターンを有する場合、その対象点に対して、各座標軸方向におけるパターンが前記規定したパターンのいずれかの旨の情報、及び当該対象点の位置情報と含む情報である、凹凸特徴量として算出するとともに、
当該対象点を、各方向共に同じパターンを有する各凹凸特徴量を有し、かつ、その間の最短距離が閾値を満たす集まりに分類し、その分類に基づき、当該対象点の凹凸特徴量に分類番号を付与すること、
前記画像特徴量算出処理手順では、対象画像の方向エッジ画像をある方向にスキャンして、対象画素と逆方向のエッジ画素から構成されるエッジペアの間隔が閾値を満たす場合、その方向、及び位置を画像特徴量として算出すること、
前記位置補正処理手順では、
指定された方向を有する画像特徴量と凹凸特徴量とを取得した後、同じ分類番号を有する凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後、この算出した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出した後、この算出された距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、この算出値を処理対象集合毎の移動量候補とする移動量投票処理手順と、
前記算出した処理対象集合毎の移動量候補において、移動量が閾値を満たす候補を削除した後、処理対象となる処理対象集合の構成点から指定された方向にスキャンして、隣接する他の処理対象集合を算出し、該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値を持たす組み合わせを算出し、これらの組み合わせの中で、得票数が最大の組み合わせを算出した後に、該処理対象集合と隣接する処理対象集合の間の領域の移動量を算出する移動量算出処理手順とを有すること
を特徴とする実写画像とレンジデータの位置合わせ方法。A method of adding depth information to each pixel constituting the actually captured target image and aligning the actually captured image with the range data to generate a three-dimensional model,
Unevenness feature amount calculation processing procedure for calculating unevenness feature amounts related to unevenness from depth information obtained from range data,
An image feature amount calculation processing procedure for calculating an image feature amount of the image from the direction edge image of the target image;
A position correction processing procedure for performing alignment between the target image and the range data using the calculated unevenness feature amount and the calculated image feature amount ,
In the unevenness feature amount calculation processing procedure, the unevenness in the coordinate axis direction of four consecutive points including the target point and two adjacent points in the coordinate axis direction before and after the target point is calculated, and the unevenness is defined as “flat (→ ), Climb (↑), flat (→) ”or“ flat (→), descent (↓), flat (→) ”. Information indicating that the pattern in the coordinate axis direction is any of the prescribed patterns, and information including the position information of the target point, as a concave and convex feature amount,
The target point is classified into a set having each of the concavo-convex feature amounts having the same pattern in each direction, and the shortest distance therebetween satisfies a threshold. Based on the classification, the class number is assigned to the concavo-convex feature amount of the target point. Granting,
In the image feature value calculation processing procedure, the direction edge image of the target image is scanned in a certain direction, and when the interval between the edge pairs composed of the edge pixels in the opposite direction to the target pixel satisfies the threshold, the direction and the position are determined. Calculating as image features ,
In the position correction processing procedure,
After acquiring the image feature amount and the unevenness feature amount having the designated direction, the unevenness feature amount having the same classification number is set as one processing target set, and a line segment connected to another unevenness feature amount connected at the shortest distance. After calculating all the constituent points of the above, scan in the designated direction from all the calculated points, calculate the distance to the overlapping image feature amount, and vote for the frequency of each calculated distance, A moving amount voting process procedure in which a moving amount in which the ratio of the number of votes to the total number of votes satisfies a threshold value and the calculated value is a moving amount candidate for each processing target set ,
In the calculated moving amount candidates for each processing target set, after the candidate whose moving amount satisfies the threshold value is deleted, scanning is performed in a designated direction from a constituent point of the processing target set to be processed, and other adjacent processing is performed. Calculate the target set, in this combination, there is no inconsistency with the original positional relationship, calculate the combination in which the difference in the amount of movement has a threshold, and among these combinations, after calculating the combination with the largest number of votes, A moving amount calculation processing procedure for calculating a moving amount of a region between the processing target set and an adjacent processing target set .
Ｘ方向またはＹ方向を有する凹凸特徴量と画像特徴量を取得し、同じ分類番号を有する前記凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後に、取得した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出し、その距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、これを移動量候補とすることを特徴とする請求項１記載の実写画像とレンジデータの位置合わせ方法。 In the moving amount voting processing procedure,
A line segment connected to another concavo-convex feature amount connected to the shortest distance by acquiring the concavo-convex feature amount having the X direction or the Y direction and the image feature amount, and using the concavo-convex feature amount having the same classification number as one processing target set After calculating all the constituent points of the above, scanning is performed in the designated direction from all the obtained points, the distance to the overlapping image feature amount is calculated, the frequency for each distance is voted, and the total number of votes obtained is calculated. 2. The method according to claim 1 , wherein a moving amount whose ratio to the number of votes satisfies a threshold value is calculated, and the calculated moving amount is used as a moving amount candidate .
を特徴とする請求項１または２記載の実写画像とレンジデータの位置合わせ方法。 The moving amount calculating process according to claim 1 or 2 , wherein the moving amount is calculated in the direction of the larger moving amount among the moving amounts in the X direction or the Y direction . How to align the real image and range data.
レンジデータから得られる奥行き情報から凹凸に関する凹凸特徴量を算出する凹凸特徴量算出処理手段と、
対象画像の方向エッジ画像から画像に関する画像特徴量を算出する画像特徴量算出処理手段と、
前記算出された凹凸特徴量、及び前記算出された画像特徴量を利用して、実写画像とレンジデータの位置合わせを行う位置補正処理手段とを備え、
前記凹凸特徴量算出処理手段は、対象点と該対象点について座標軸方向の前後に隣接する２点を含む連続する４点の当該座標軸方向の凹凸を算出し、該凹凸が規定した「平ら（→）、のぼり（↑）、平ら（→）」または「平ら（→）、下り（↓）、平ら（→）」のパターンのいずれかに該当するパターンを有する場合、その対象点に対して、各座標軸方向におけるパターンが前記規定したパターンのいずれかの旨の情報、及び当該対象点の位置情報と含む情報である、凹凸特徴量として算出するとともに、
当該対象点を、各方向共に同じパターンを有する各凹凸特徴量を有し、かつ、その間の最短距離が閾値を満たす集まりに分類し、その分類に基づき、当該対象点の凹凸特徴量に分類番号を付与すること、
前記画像特徴量算出処理手段は、対象画像の方向エッジ画像をある方向にスキャンして、対象画素と逆方向のエッジ画素から構成されるエッジペアの間隔が閾値を満たす場合、その方向、及び位置を画像特徴量として算出すること
前記位置補正処理手段は、
指定された方向を有する画像特徴量と凹凸特徴量とを取得した後、同じ分類番号を有する凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後、この算出した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出した後、この算出された距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、この算出値を処理対象集合毎の移動量候補とする移動量投票処理手段と、
前記算出した処理対象集合毎の移動量候補において、移動量が閾値を満たす候補を削除した後、処理対象となる処理対象集合の構成点から指定された方向にスキャンして、隣接する他の処理対象集合を算出し、該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値を持たす組み合わせを算出し、これらの組み合わせの中で、得票数が最大の組み合わせを算出した後に、該処理対象集合と隣接する処理対象集合の間の領域の移動量を算出する移動量算出処理手段とを備えたこと
を特徴とする実写画像とレンジデータの位置合わせ装置。 The depth information is given to each pixel constituting the target image photographed, an alignment apparatus of the photographed image and range data of order to generate a three-dimensional model,
Unevenness feature amount calculation processing means for calculating unevenness feature amounts related to unevenness from depth information obtained from range data ,
Image feature calculation processing means for calculating an image feature related to the image from the direction edge image of the target image ;
Using the calculated concavo-convex feature amount, and the calculated image feature amount, comprising a position correction processing unit that performs alignment of the real image and the range data ,
The concavo-convex feature amount calculation processing means calculates concavity and convexity in the coordinate axis direction of four consecutive points including the target point and two adjacent points before and after the target point in the coordinate axis direction, and defines “flat (→ ), Climb (↑), flat (→) ”or“ flat (→), descent (↓), flat (→) ”. Information indicating that the pattern in the coordinate axis direction is any of the prescribed patterns, and information including the position information of the target point, as a concave and convex feature amount ,
The target point is classified into a set having each of the concavo-convex feature amounts having the same pattern in each direction, and the shortest distance therebetween satisfies a threshold. Based on the classification, the class number is assigned to the concavo-convex feature amount of the target point. Granting ,
The image feature value calculation processing unit scans the direction edge image of the target image in a certain direction, and when the interval between the edge pairs composed of the edge pixels in the opposite direction to the target pixel satisfies the threshold, the direction and the position are determined. Calculate as image features
The position correction processing means,
After acquiring the image feature amount and the unevenness feature amount having the designated direction, the unevenness feature amount having the same classification number is set as one processing target set, and a line segment connected to another unevenness feature amount connected at the shortest distance. After calculating all the constituent points of the above, scan in the designated direction from all the calculated points, calculate the distance to the overlapping image feature amount, and vote for the frequency of each calculated distance, A moving amount voting processing means for calculating a moving amount in which the ratio of the number of votes to the total number of votes satisfies a threshold, and using the calculated value as a moving amount candidate for each processing target set ;
In the calculated moving amount candidates for each processing target set, after the candidate whose moving amount satisfies the threshold value is deleted, scanning is performed in a designated direction from a constituent point of the processing target set to be processed, and other adjacent processing is performed. Calculate the target set, in this combination, there is no inconsistency with the original positional relationship, calculate the combination in which the difference in the amount of movement has a threshold, and among these combinations, after calculating the combination with the largest number of votes, A device for aligning a real image and range data, comprising: a movement amount calculation processing means for calculating a movement amount of an area between the processing target set and an adjacent processing target set .
Ｘ方向またはＹ方向を有する凹凸特徴量と画像特徴量を取得し、同じ分類番号を有する前記凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後に、取得した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出し、その距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、これを移動量候補とすることを特徴とする請求項４記載の実写画像とレンジデータの位置合わせ装置。 The moving amount voting processing means ,
A line segment connected to another concavo-convex feature amount connected to the shortest distance by acquiring the concavo-convex feature amount having the X direction or the Y direction and the image feature amount, and using the concavo-convex feature amount having the same classification number as one processing target set After calculating all the constituent points of the above, scanning is performed in the designated direction from all the obtained points, the distance to the overlapping image feature amount is calculated, the frequency for each distance is voted, and the total number of votes obtained is calculated. 5. The apparatus according to claim 4 , wherein a movement amount whose ratio to the number of votes satisfies a threshold value is calculated and used as a movement amount candidate .
を特徴とする請求項４または５記載の実写画像とレンジデータの位置合わせ装置。 The moving amount calculation processing means calculates a moving amount in a direction having a larger moving amount among the moving amounts in the X direction or the Y direction . Alignment device for real images and range data .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000348020A JP3572252B2 (en) | 2000-11-15 | 2000-11-15 | Method and apparatus for aligning photographed image and range data, and recording medium recording program for executing the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000348020A JP3572252B2 (en) | 2000-11-15 | 2000-11-15 | Method and apparatus for aligning photographed image and range data, and recording medium recording program for executing the method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002150269A JP2002150269A (en) | 2002-05-24 |
| JP3572252B2 true JP3572252B2 (en) | 2004-09-29 |
Family
ID=18821667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000348020A Expired - Fee Related JP3572252B2 (en) | 2000-11-15 | 2000-11-15 | Method and apparatus for aligning photographed image and range data, and recording medium recording program for executing the method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3572252B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4287647B2 (en) * | 2002-12-27 | 2009-07-01 | 株式会社Ｉｈｉ | Environmental status monitoring device |
| EP2382791B1 (en) | 2009-01-27 | 2014-12-17 | Telefonaktiebolaget L M Ericsson (PUBL) | Depth and video co-processing |
| JP6091850B2 (en) * | 2012-11-09 | 2017-03-08 | シャープ株式会社 | Telecommunications apparatus and telecommunications method |
-
2000
- 2000-11-15 JP JP2000348020A patent/JP3572252B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002150269A (en) | 2002-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3735344B2 (en) | Calibration apparatus, calibration method, and calibration program | |
| CN100494886C (en) | Three-dimensional scanning system circular index point detection method | |
| US6751338B1 (en) | System and method of using range image data with machine vision tools | |
| US9787960B2 (en) | Image processing apparatus, image processing system, image processing method, and computer program | |
| CN104567727B (en) | Global unified calibration method for linear structured light profile sensor through three-dimensional target | |
| US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
| US10771776B2 (en) | Apparatus and method for generating a camera model for an imaging system | |
| US7928978B2 (en) | Method for generating multi-resolution three-dimensional model | |
| JP2005326247A (en) | Calibrator, calibration method, and calibration program | |
| US7711507B2 (en) | Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium | |
| KR20010071343A (en) | Method of accurately locating the fractional position of a template match point | |
| US20020150288A1 (en) | Method for processing image data and modeling device | |
| CN101996416A (en) | 3D face capturing method and equipment | |
| JP2002202122A (en) | Calibration method for two-dimensional distance image sensor | |
| CN113465573A (en) | Monocular distance measuring method and device and intelligent device | |
| CN115187612A (en) | Plane area measuring method, device and system based on machine vision | |
| JP3572252B2 (en) | Method and apparatus for aligning photographed image and range data, and recording medium recording program for executing the method | |
| KR100549511B1 (en) | Method for producing picture drawing of gis using digital photogrammetry and laser scanning | |
| EP4120190A1 (en) | Method for inspecting an object | |
| EP4123578A1 (en) | Method for inspecting an object | |
| JP2002109518A (en) | Three-dimensional shape restoring method and system therefor | |
| CN113379899B (en) | Automatic extraction method for building engineering working face area image | |
| JP2003067726A (en) | Solid model generation system and method | |
| JP2961140B2 (en) | Image processing method | |
| JP2000207557A (en) | Method for measuring quantity of positional deviation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040628 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080702 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090702 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100702 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110702 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |