JP2018197685A - 三次元計測装置 - Google Patents

三次元計測装置 Download PDF

Info

Publication number
JP2018197685A
JP2018197685A JP2017102050A JP2017102050A JP2018197685A JP 2018197685 A JP2018197685 A JP 2018197685A JP 2017102050 A JP2017102050 A JP 2017102050A JP 2017102050 A JP2017102050 A JP 2017102050A JP 2018197685 A JP2018197685 A JP 2018197685A
Authority
JP
Japan
Prior art keywords
image
turntable
background
point
plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017102050A
Other languages
English (en)
Inventor
高地 伸夫
Nobuo Takachi
伸夫 高地
七夕 高也
Takaya Tanabata
高也 七夕
篤司 林
Tokuji Hayashi
篤司 林
祥子 磯部
Sachiko Isobe
祥子 磯部
Original Assignee
公益財団法人かずさDna研究所
Kazusa Dna Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 公益財団法人かずさDna研究所, Kazusa Dna Research Institute filed Critical 公益財団法人かずさDna研究所
Priority to JP2017102050A priority Critical patent/JP2018197685A/ja
Publication of JP2018197685A publication Critical patent/JP2018197685A/ja
Application status is Pending legal-status Critical

Links

Images

Abstract

【課題】画像に基づく植物の三次元モデルの作成を効率よくまた精度よく行う。【解決手段】回転が可能な回転台110と、回転台110の上に置かれた植物120を撮影するカメラ131〜133とを備え、前記回転台110は、水平な上面と鉛直な曲面を有し、軸方向から見た形状が点対称および線対称でない形状を有している植物の3D計測システム100。【選択図】図1

Description

本発明は、画像を用いた三次元計測の技術に関する。

画像を用いて植物の三次元形状に係るデータを取得する技術が知られている。例えば、特許文献1および2には、植物を回転させながら複数の視点から植物の写真撮影を行い、得られた複数の撮影画像から被写体(植物)の三次元モデルを得る技術が記載されている。

特開2004−191243号公報 特開2017−3525号公報

画像を用いた三次元計測においては、異なる視点から得た複数の画像間のマッチング(対応関係の特定)が重要である。さらに三次元モデルの評価・統合には、他の三次元モデル(点群データ)との位置合わせが必要である。ところで植物の場合、形状が不定形であるので、画像間のマッチングや、三次元点群データの位置合わせが難しい。

上記のマッチングや位置合わせの問題は、例えば対象となる植物を置く回転台として立方体や直方体のものを用いることで解決できる。ところで、立方体や直方体は回転軸の方向に延在する縁があるが、この縁の部分を特定する特徴点の抽出が安定性を欠き、当該部分における特徴点の検出に誤差や誤検出が生じ易い。また、エッジ部分はマッチングに誤差やミスが生じ易く、三次元モデル化のための処理が上手くゆかないという問題もある。

この問題は、円形の回転台座を用いることで解決できる。しかしながら、円形の回転台座は、異なる視点から見た場合の形状の相違が顕著でないので、エッジに起因する理由とは別の理由で画像間のマッチングや点群データの位置合わせが困難になる問題が生じる。具体的には、回転台座の向きが特定できないので、最初の大よその位置合わせが難しく、上手くゆかない問題がある。

また、対象物を回転させつつ撮影を行ってステレオ画像を得る方法は、回転しない背景の扱いが問題となる。この背景画像は、ノイズとなる画像であり、またマッチングの障害となるので効果的に除去する必要がある。特許文献2の技術は、この問題の解決を目的とする技術であるが、対象物と背景の分離は十分でない。

また、画像に基づく三次元モデルの作成を行う場合、使用するカメラの外部標定要素(カメラの三次元座標と三軸の傾き)を求める処理が必要となるが、その作業は別途用意した正確な位置特定装置を用いた専門的で煩雑な作業が必要であり、それが植物の生育状態の三次元計測の障害となっていた。

このような背景において、本発明は、画像に基づく対象物の三次元モデルの作成を効率よくまた精度よく行う技術の提供を目的とする

請求項1に記載の発明は、回転が可能な回転台と、前記回転台の上に置かれた対象物を撮影するカメラとを備え、前記回転台は、水平な上面と鉛直な曲面を有し、軸方向から見た形状が点対称および線対称でない形状を有している三次元計測装置である。

請求項2に記載の発明は、請求項1に記載の発明において、前記回転台の上面および側面にはランダムドット模様が形成され、前記ランダムドット模様の色として、前記対象物の色と同系色が選択されていることを特徴とする。

請求項3に記載の発明は、請求項1または2に記載の発明において、前記カメラが撮影した写真画像における特定の点と対象となる領域の色強度の差C1と、前記特定の点と背景となる領域の色強度の差C2との大小関係に基づき、前記特定の点が抽出領域または背景領域のいずれであるかの判定を行う処理部と、前記抽出領域の輪郭をぼかした画像を作成する画像作成部と、前記抽出領域の輪郭をぼかした処理が行われた視点の異なる複数の画像に対して、対応点の特定を行う対応点特定部とを備えることを特徴とする。

請求項4に記載の発明は、異なる視点から対象物を撮影した複数の写真画像に基づき前記対象物の三次元計測を行う三次元計測装置であって、前記写真画像における特定の点と対象となる領域の色強度の差C1と、前記特定の点と背景となる領域の色強度の差C2との大小関係に基づき、前記特定の点が抽出領域または背景領域のいずれであるかの判定を行う処理部を備える三次元計測装置である。

請求項5に記載の発明は、請求項4に記載の発明において、C1<C2の場合に、前記特定の点を抽出領域と判定し、C1<C2でない場合に、前記特定の点を背景領域と判定することを特徴とする。請求項6に記載の発明は、請求項4または5に記載の発明において、前記抽出領域の輪郭をぼかした画像を作成する画像作成部を備えることを特徴とする。請求項7に記載の発明は、請求項6に記載の発明において、前記抽出領域の輪郭をぼかした処理が行われた視点の異なる複数の画像に対して、対応点の特定を行う対応点特定部を備えることを特徴とする。

本発明によれば、画像に基づく対象物の三次元モデルの作成を効率よくまた精度よく行う技術が得られる。

実施形態の概要を示す斜視図である。 実施形態のブロック図である。 後方交会法の原理図(A)および前方交会法の原理図(B)である。 対象物の撮影画像(A)、背景を除去する処理を施した画像(B)および2値化マスクの画像(C)を示す図面代用写真である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 回転台の一例を示す上面図である。

1.全体の構成
図1には、植物120の三次元データを得るための3D計測システム100が示されている。3D計測システム100は、モータ等の駆動手段により回転する回転台110を備えている。回転台110は、第1の回転台部材111と第2の回転台部材112により構成されている。回転台110は、図示しないモータによりZ軸(鉛直軸)を回転軸として回転する。第1の回転台部材111は、立方体111aが結合した平たい四角柱の形状を有している。立方体111aを備えることで、回転台110は、軸方向から見て、点対称および線対称でない形状、言い換えると回転軸に対する360°×n(n=1,2,3・・)以外の回転に対して対称でない形状とされている。この形状とすることで、任意の回転角度における回転台110の向きを画像として把握し易いようにしている。

第1の回転部材111と第2の回転部材112は、その側面が鉛直面(Z軸に平行な垂直面)で構成され、上面は水平面(X−Y面)で構成されている。また、各部の寸法は予め測定され、既知のデータとして取得されている。こうすることで、ステレオ画像のマッチングを行う際や三次元点群データの位置合わせを容易、且つ、正確に行われるようにし、また、得られる三次元モデルにスケールが与えられるようにしている。

第1の回転台部材111の上には、第2の回転台部材112が固定されている。第2の回転台部材112は、軸方向の長さの短い円柱形状を有している。この円柱形状の軸中心が回転台110の回転軸となる。第2の回転台部材112の上面には、植物120が配置されている。植物120は、回転台110の回転中心に配置されている。植物120は、草木、野菜、果物等の植物として分類されるものであれば、その種類は限定されない。

第2の回転台部材112の側面は、円筒形状の外周面を構成する曲面(円筒外周面)とされている。回転台110の側面に周方向で閉じた鉛直曲面を設けることで、後述するステレオ画像間におけるマッチングミスを防いでいる。

回転台110の側面および上面(第1の回転台部材111および第2の回転台部材112の側面および上面)の全てには、ランダムドットパターンが形成されている。ランダムドットパターンは、回転台110におけるカメラ131,132,133から撮影される範囲の全ての部分に形成されている。

ランダムドットパターンは、ドットが規則性なくランダムに分布しているドットパターンである。ランダムドットパターンに関する技術は、例えば、特開平11−39505号公報、特開平10−97641号公報、電子情報通信学会研究報告.COMP,コンビュテーション112(24),51−58,2012−05−07等に記載されている。

ランダムドットパターンの色は、観察対象となる植物120と同系色のものが選択されている。この色の選択は、厳密なものではないが、なるべく近い色のものが選択される。例えば、植物120の色が緑系のみであれば、緑色のランダムドットパターンが選択される。

ところで、成長に従って色が変化する植物や途中で花が咲くとそれまでとは異なる色が出現する植物もある。また、葉、花、枝が異なる色を示す植物もある。このような場合、想定される色彩を混ぜてランダムドットパターンを設定する。例えば、葉の色が緑で花の色が赤の場合、緑のドットと赤のドットを混ぜたものをランダムドットパターンとして採用する。なお、異なる色のドットを用いる場合、異色のドットがなるべく分散するようにドットを配置する。

回転台110の上には、ターゲット113が複数(4〜8個程度)配置されている。ターゲット113は、識別し易い色や反射光沢を有する円形形状を有している。ターゲット113は、回転台110の回転位置に関係なく、カメラ131〜133の位置から常に最低3つ以上見えるようにその位置が調整されている。ターゲット113は、カメラ131〜133の外部標定要素(位置と姿勢)の算出あるいはスケールを与えられるために用いられる。複数のターゲット113の回転台110上における位置(座標)あるいは隣接するターゲット間の距離のどちらかは予め取得されており、既知なデータとされている。ターゲット113としてコード化ターゲットを用いることもできる。

回転台110の周囲には、カメラ131〜133が配置されている。カメラ131〜133は、回転台110に対して固定されており、回転する回転台110およびその上の植物120を特定の時間間隔で繰り返し撮影する。カメラの数は、少なくとも1台あればよいが、複数を配置し、植物120に対してなるべく死角が生じないようにその数と位置を設定することが望ましい。カメラ131〜133は、デジタルカメラであり、撮影した画像のデータ(画像データ)は、3D計測処理装置200に送られる。

カメラ131〜133に写る回転台110および植物120の背景は、植物120の色とは異なる色のシートや布で覆い、回転台110および植物120と背景とを色彩で識別できるように設定されている。背景の色は、モノトーンとすることが望ましい。例えば、植物120が緑系の色の場合、背景は青、黄色、黒、白といった植物120とは異なるモノトーンの色とする。

2.演算装置
3D計測処理装置200は、カメラ131〜133が撮影した画像のデータに対して、対象物(植物120と回転台110)と背景とを分離する処理、更に植物120の三次元モデル化の処理を行う。また、3D計測処理装置200は、回転台110の回転制御およびカメラ131〜133の動作制御を行う。

3D計測処理装置200は、CPU、メモリデバイス、各種のインターフェースを備えたコンピュータであり、汎用あるいは専用のハードウェアによって構成することができる。3D計測処理装置200を構成する汎用のハードウェアとしては、WS(ワークステーション)やPC(パーソナルコンピュータ)が挙げられる。これらコンピュータに3D計測処理装置200の機能を実現する動作プログラムをインストールし、後述する各機能部の機能をソフトウェア的に実現する。この例では、3D計測処理装置200として汎用のPCを利用している。

なお、3D計測処理装置200の一部または全部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部を組み合わせてもよい。

例えば、図示する各機能部は、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)に代表されるPLD(Programmable Logic Device)などの電子回路により構成される。また、一部の機能を専用のハードウェアで構成し、他の一部を汎用のマイコンにより構成することも可能である。

各機能部を専用のハードウェアで構成するのか、CPUにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。なお、機能部を専用のハードウェアで構成することとソフトウェア的に構成することとは、特定の機能を実現するという観点からは、等価である。

3D計測処理装置200は、画像データ受付部210、2値化マスク作成部221、背景色差画像作成部222、2値化マスクによる背景除去部223、ターゲット検出部240、外部標定要素算出部245、特徴点抽出部250、対応点特定部260、三次元座標算出部270、三次元モデル作成部280、記憶部290、回転制御部295、撮影タイミング制御部296を備える。また、3D計測処理装置200は、外部の機器との間でデータのやり取りを行うインターフェース機能、操作者による操作を受け付けるユーザインターフェース機能を有する。これらは、利用するPCのインターフェースを利用している。画像データ受付部210は、カメラ131〜133が撮影した画像のデータ(画像データ)を受け付け、3D計測処理装置100の内部に取り込む。

2値化マスク作成部221は、原画像(カメラが撮影した画像)または後述する背景色差画像に基づいて、処理の対象となる画像に対して抽出領域を抽出し、背景領域をマスク(遮蔽)する2値化マスクを作成する。ここで抽出領域は、点群データの取得の対象となる領域(対象物の領域)であり、この場合は回転台110と植物120の画像の領域である。背景領域は、回転台110と植物120の背景となる回転しない部分が写っている領域である。以下、2値化マスクを作成する手順について説明する。

まず利用するパラメータを以下のように定義する。
C(P):対象となる画素の色強度
obj :基準となる対象物の画像の画素における色強度
bg :基準となる背景の画像の画素における色強度

ここで、画素はカラー画像を構成する最小要素であり、特定の強度を有したRGBの色素要素を含んでいる。対象物は、観察対象の対象物となる植物120と、この植物120が置かれた回転台110である。背景は、植物120と回転台110以外の回転しない部分である。背景は、黒や青といった対象物(植物120と回転台110)とは異なる色の布等で覆われ、画像として対象物と識別し易いようにしている。背景の色は、モノトーンで、且つ、対象物と異なる色が選択される。

objは、対象物(植物120および回転台110)が写っている領域の色の強度として予め指定されている。色の種類は、対象物の色に応じて選択される。色の種類を増やした方が、精度は高くなるが、演算の負担は増加する。例えば、対象となる植物が杉の場合、Cobjを取得する色として、緑色(葉の部分)、茶色(枝の部分)、灰色(鉢の部分)・・・・が選択される。また例えば、対象となる植物がイチゴの場合、Cobjを取得する色として、赤色(果実の部分)、緑色(葉の部分)、茶色(鉢の中の土の部分)・・・・が選択される。なお色の強度は、予め定めておいた値もしくは画像中の色を選択して採用する。

bgは、対象物(植物120および回転台110)の背景の色の強度として予め指定されている。色の種類は、背景の色の設定に応じて選択される。色の種類を増やした方が、精度は高くなるが、演算の負担は増加する。例えば、背景が青に設定されている場合、Cbgを取得する色として、青、照明やシェーディングの影響による明るい青や濃い青が選択される。また例えば、背景が黒に設定されている場合、Cbgを取得する色として、黒、明るい黒、濃い黒が選択される。なお、色の強度は、予め定めておいた値が採用される。

ここで、C(P),Cobj ,Cbgを用いて下記数1からdobjとdobjが算出される。

そして、下記数2からaveobjとavebgが算出される。

aveobjは、予め指定された色に関して、判定の対象となる画素と、基準となる植物120および回転台110が写っている領域との間の平均色差、すなわち判定の対象となる画素と、抽出すべき対象が写っている領域との色の強度の差の平均値である。なお、wとhは、16×16画素といった局所領域が選択される。局所領域の大きさは、これに限定されず10×10画素や21×21画素といったものも選択可能である。

avebgは、予め指定された色に関して、判定の対象となる画素と、植物120および回転台110が写っていない背景の領域との間の平均色差、すなわち判定の対象となる画素と、抽出すべきでない背景が写っている領域との色の強度の差の平均値である。

ここで、aveobj<avebgであれば、着目した画素(C(P)を取得した画素)が対象物(植物または回転台)の画像を構成する画素であると判定される。すなわち、抽出の対象と判定される。

また、aveobj<avebgでない場合(aveobj≧avebgの場合)、着目した画素(C(P)を取得した画素)が背景の画像を構成する画素、すなわち抽出の対象でないと判定される。

例えば、判定の対象となる画素が対象物(植物120または回転台110)の画素である場合を考える。この場合、C(P)とCobjの差は相対的に小さく、C(P)とCbgの差は相対的に大きい。よって、(C(P)−Cobj<(C(P)−Cbgであり、aveobj<avebgとなる。よって、aveobj<avebgの場合、着目した画素(C(P)を取得した画素)が対象物を構成する画素と判定される。

逆に、判定の対象となる画素が背景(植物120と回転台110以外)の画素である場合、C(P)とCobjの差は相対的に大きく、C(P)とCbgの差は相対的に小さい。よって、(C(P)−Cobj≧(C(P)−Cbgであり、aveobj≧avebgとなる。よって、aveobj≧avebgの場合(aveobj<avebgでない場合)、着目した画素(C(P)を取得した画素)が背景を構成する画素と判定される。

上記の判定の結果を受け、対象物を構成する画素と判定された画素を抽出し、背景を構成する画素と判定された画素はマスクされ黒色表示に変換されるフィルタを作成する。このフィルタが2値化マスクとなる。

被処理対象画像を2値化マスクで処理すると、2値化マスク上の抽出領域は被処理対象画像がそのまま残る(画像として透過)。他方において、背景と判定された被処理対象画像の領域はマスクされ黒表示となる。図4(A)には、背景除去の処理を行っていない原画像の一例が示されている。図4(B)には、図4(A)の原画像に対して上述した2値化マスクを用いて背景を除去した背景除去画像の一例が示されている。ここで、原画像を処理の対象とする場合は、当該原画像に基づき作成された2値化マスクが用いられる。なお、2値化マスクの作成に際しては、抽出領域の膨張(拡張)処理、すなわち抽出領域の外縁を少し広げる処理を施す。こうすることで、抽出すべき対象物の輪郭が確実に抽出されるようにする。これは、被処理対象の画像が原画像である場合も背景色差画像である場合も同じである。なお、膨張させる距離は、対象や撮影条件(撮影分解能)によるが、数画素〜10画素程度とする。

図4(C)には、図4(A)の原画像に基づく2値化マスク(図4(B)の画像を得るために利用した2値化マスク)を画像として見た場合の一例が示されている。図4(C)において、白い部分はスルーとなる部分で対象画像がマスクされず画像が抽出される部分であり、黒い部分は対象画像がマスクされる(抽出されない)部分である。

背景色差画像作成部222は、原画像に基づき背景色差画像を作成する。この処理では、原画像に対する上述したaveobj<avebgの判定において、抽出領域と判定された領域はそのまま残し、背景領域と判定された画素を、当該画素を含む局所領域(例えば、当該画素を含む16×16画素の領域)の平均色の色(局所的背景選択色)に変換する。この処理により背景が除去された画像が得られる。

背景色差画像は、原画像に比較して対象領域の輪郭部分がぼやける。すなわち、背景色差画像では、対象物の画像の輪郭がエッジの立った(エッジ部分で急に画像がなくなる)表示ではなく、徐々に画素の強度が変化する諧調がある状態となる。これは、背景と判定された画素の表示を局所領域の平均色に変換しているからである。

例えば、対象物が緑で背景が青の場合を考える。この場合、緑の画素に隣接または近接する青の画素(背景と判定される画素)は、16×16画素程度の局所領域の平均色に変換されるので、緑の成分も含み、それは対象物に近い程顕著になる。よって、対象物と背景とは明確な輪郭で分離されず、ある程度の緩やかさを持って画素表示が徐々に変化し、対象物の輪郭がぼやけたものとなる。

2値化マスクを用いた背景除去部223は、処理の対象となる画像を上述した2値化マスクで処理し、背景の除去を行う。処理の対象となる画像は、原画像または後述する背景色差画像である。ここで、原画像を処理の対象とする場合に利用する2値化マスクは、原画像に基づく2値化マスクを用い、背景色差画像を処理の対象とする場合に利用する2値化マスクは、背景色差画像に基づく2値化マスクを用いる。

以下、原画像を2値化マスクで処理した背景除去画像を背景除去画像1と呼び、背景色差画像を2値化マスクで処理した背景除去画像を背景除去画像2と呼ぶ。

背景除去画像2は、背景色差画像を作成する処理に加えて、背景色差画像に基づく2値化マスクを作成する処理が必要となるので、背景除去画像1を得る場合に比較して演算量が多くなる。この意味で背景除去画像1は、処理速度の点で有利である。しかしながら、背景除去画像1は対象物によってはステレオマッチングの処理時に障害が生じ易いというデメリットがある。

本明細書で開示する技術では、異なる視点から撮影した対象物(植物120と回転台110)の画像のステレオマッチング(対応関係の特定)を行うことが重要である。このステレオマッチングの際、エッジの際立った画像は、マッチングミスが生じ易い。これはデジタル処理では、データが不連続になる部分でエラーが生じ易いからである。

上記の輪郭に起因するマッチングミスは、対象物に大きく左右される。例えば、植物としてイチゴを選択した場合、輪郭に起因するマッチングミスはそれほど顕著でない。よって、イチゴは背景除去画像1でもマッチングミスはあまり問題とならない(勿論、撮影環境が悪い場合等の要因でマッチングミスが問題となる場合もある)。他方で、杉のような葉が細かい植物では、輪郭に起因するマッチングミスが顕著になる傾向がある。このため、杉のような植物は、背景除去画像2を利用するのが好ましい。

すなわち、背景除去画像1では、対象物によっては、画面中における画像の輪郭における画素強度の変化が急峻となる割合が高く、上述したマッチングミスが生じる可能性が高い。つまり、背景除去画像1は、演算の負担が少なく、処理速度が速いが、対象物によってはステレオマッチングにおいてエラーが生じ易い。

他方で、背景除去画像2は、背景色差画像を作成する処理と、2値化マスクを作成する処理が必要であり、処理速度の点で不利であるが、輪郭がぼやけているので、輪郭に起因するマッチングエラーが生じ難く、ステレオマッチングが行い易い。

以下、この点について更に説明する。上述したように、背景色差画像では、対象物の輪郭はぼやけている。この背景色差画像を基に2値化マスクを作成すると、抽出領域(透過領域)と除去領域(遮蔽領域)の境界は、上記の輪郭のぼやけた領域に含まれる。よって、当該2値化マスクで抽出される対象物の輪郭はぼやけ、ステレオマッチングが行いやすい画像となる。

ところで、背景色差画像は、背景を除去する効果に劣り、背景の画像が除去しきれず残る欠点がある。背景が残ると、背景から抽出される特徴点に起因するマッチングミスが生じ易くなる。この点、背景除去画像2は、2値化マスクに通すことで、背景が効果的に除去されているので、背景に起因するマッチングエラーは生じ難く、対象物の輪郭がぼやけていることに起因するステレオマッチングのし易さの優位性が損なわれない。また、背景がノイズとなる問題が抑えられる。

背景色差画像に用いる2値化マスクとして、原画像に基づく2値化マスクを用いることもできる。この場合、少し余裕をもって抽出領域の膨張処理を行い、諧調表示部分(輪郭のぼけた部分)が確実に抽出されるようにする。

ターゲット検出部240は、カメラ131〜133が撮影した画像に写ったターゲット113を検出する。予めターゲット113の画像は取得されており、それをリファレンスとして撮影画像中からターゲット113の抽出が行なわれる。

外部標定要素算出部245は、撮影画像中の特徴点(特徴点抽出部250が抽出した特徴点)を利用して、図1のカメラ131〜133の外部標定要素(位置と姿勢)を後方交会法により算出する。図3(A)には、後方交会法の原理が示されている。後方交会法とは、未知点から3つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、DLT法(Direct Liner Transformation Method)が挙げられる。交会法については、基礎測量学(電気書院:2010/4発行)p 182,p184に記載されている。また、特開2013−186816号公報には交会法に関して具体的な計算方法の例が示されている。

以下、後方交会法を用いて外部標定要素を求める方法について説明する。まず、後方交会法について説明する。例えば、図3(A)のP1〜P3が、座標が特定された基準点であるとする。p〜pは、基準点P1〜P3の着目している画像中における画面座標値である。ここで、P1とp、P2とp、P3とpを結ぶ3つの方向線を設定すると、その交点Oが当該画像を撮影したカメラの位置となる。また、点Oと画面の中心を結ぶ方向線の延長方向がカメラ132の向き(姿勢)となる。またここで、P1とP2の間の実寸法が与えられれば、カメラの位置および姿勢の利用している座標系における実際の値が求まる。

以下、具体的な計算の一例を説明する。この場合、回転台100の鉛直面上および水平面上の多数の特徴点が、図3(A)のP1〜P3に対応する点となり、図3(A)の原理により、カメラ131〜133の外部標定要素(位置と姿勢)が求まる。この際、複数あるターゲット113の間の距離が予め取得されているので、算出された外部標定要素に実スケールが付与される。実スケールの与え方としては、回転台110を構成する第1の回転部材111の辺の長さを予め取得しておき、そこから与える方法、スケール表示を回転台110の上面に表示させておく方法等がある。

このカメラ131〜133の外部標定要素の算出の際、回転台110の外周が水平面と鉛直面により構成されていることは重要である。以下この点について説明する。カメラ131〜133の外部標定要素の算出に利用される点(特徴点)は、回転台110外面の特徴部分(主に縁の部分)とランダムドットパターンである。これらは、水平面上および鉛直面上にある。よって、多数の特徴点の相対位置関係は、シンプルであり、また回転台110上に設定されたローカル座標系上で特定の位置関係にある。

利用する特徴点は多数あるので、各カメラの外部標定要素を算出するための数式は、多数の行列要素を有した計算式となる。ここで、上述したように、各特徴点は水平面上および鉛直面上にあるので、各特徴点の関係は相関性が高く、計算が収束し易い。このため、各カメラの外部標定要素の算出速度および算出精度は高く、また演算のエラーは発生し難い。仮に、回転台110が鉛直面および水平面でない面を有し、その面積の割合が比較的多い場合、その面から取得される特徴点の影響で計算が収束し難く、また計算の途中でエラーが発生する可能性が高くなる。

カメラの外部標定要素は、基準点(この場合は、ターゲット113)を利用して算出することもできる。この場合、図3(A)の点P1〜P3がターゲット113の位置として選択される。ターゲット113を用いる場合、回転台110上におけるターゲット113の位置を予め取得しておく必要がある。また、1枚の撮影画像中でターゲット113が3つ以上写っている必要がある。

特徴点抽出部250は、カメラ131〜133が撮影した画像の中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分、更には周囲と色彩や明度が異なっている部分等が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。

対応点特定部260は、異なる視点から撮影した2枚以上の画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の画像中で抽出された特徴点と同じ特徴点を他方の画像中で特定する処理を行う。この特徴点の対応関係を特定する処理は、例えば、Feature−Based(特徴抽出)法としてのSIFTやSURF、Kaze、……やArea‐Based(面積相関)法としてのテンプレートマッチングを用いて行われる。テンプレートマッチングとしては、残差逐次検定法(SSDA:Sequential Similarity Detection Algorithm)、相互相関係数法などが挙げられる。またこの対応点特定部260は、二つの三次元点群データがある場合に、点群の位置合わせのための点の対応関係を特定する。この処理にはICP(Iteratice Closed Point)法などを利用する。

対応点の特定は、段階的に行われる。この例では、まず回転台110の向き(回転角度位置)を形状的に特定するための立方体111aを用いて、画像中に写った、あるいは点群中の回転台110の向き(角度位置)が特定される。これが大まかな初期設定、すなわちステレオ画像や点群データを構成する2枚の撮影画像中や2つの点群データ中における回転台110の大よその位置合わせとなる。その後に詳細なマッチングや点群データ同士の位置合わせが行われる。こうすることで、無闇に足がかり無くマッチングや点群データの位置合わせを行う場合に比較して、その効率と精度を飛躍的に高めることができる。対応点の特定は、基本2枚の画像や2つの点群を対象に行われるが、3枚以上の画像や3つ以上の点群データを対象とすることで、対応関係の特定精度をより高めることができる。

複数の画像間の対応関係を求める技術については、例えば特開2013−178656号公報や特開2014−35702号公報に記載されている技術を利用することができる。なお、特開2013−178656号公報や特開2014−35702号公報には、特徴点の抽出に係る技術、特徴点の三次元位置を求める技術についても記載されており、これらの技術は、本願明細書中で説明する技術に利用できる。

三次元座標算出部270は、特徴点抽出部150が画像中から抽出した特徴点の三次元位置の算出を前方交会法により算出する。対象物を構成する多数の特徴点の三次元位置を算出することで、当該対象物を三次元座標が特定された点の集合として把握可能な点群位置データが得られる。更には、この点群位置データに基づき三次元モデルを作成することができる。

図3(B)には、前方交会法の原理が示されている。前方交会法では、既知の複数点(図3(B)の場合は、OとOの2点)から未知点Pへ向かう方向を観測して、それらの方向線の交点として未知点Pの位置を求める。

以下、一例を挙げて三次元座標算出部270における処理の一例を説明する。まず、回転台110を回転させつつ異なるタイミングで撮影した第1の画像と第2の画像を考える。この第1の画像と第2の画像の組をステレオ画像(あるいはステレオ写真画像)という。この際、カメラが固定されていても回転台110が回転するので、第1の画像と第2の画像は、対象物を異なる角度(異なる視点)から撮影したものとなる。すなわち、第1の画像は、第1の視点からの撮影画像となり、第2の画像は、第1の視点と異なる第2の視点からの撮影画像となる。

ここで、Pが第1の画像と第2の画像において共通に写っている特徴点(両画像で対応する特徴点)、Oが第1の画像の視点(撮影位置)、Oが第2の画像の視点(撮影位置)、pが特徴点Pの第1の画像中における画面座標、pが特徴点Pの第2の画像中における画面座標となる。この場合、Oとpを結ぶ方向線を設定し、他方でOとpを結ぶ方向線を設定し、この2つの方向線の交点の座標を算出することで、特徴点Pの三次元座標を算出することができる。ここでは、異なる視点から撮影した2枚の画像を用いる場合を説明したが、それぞれ異なる視点から対象物を撮影した3枚以上の画像を用いて前方交会法により特徴点Pの座標を算出することもできる。この場合、更に別の視点O、O・・・が追加され、点Pの座標が算出される。

三次元モデル作成部280は、多数の撮影画像を解析することで得られた三次元点群位置データに基づいて三次元モデルを作成する。例えば、得られた多数の特徴点の三次元座標からなる三次元点群位置データを用いてtin(不整三角形網)を作成し、撮影対象物の三次元モデルの作成が行われる。この際、複数のターゲット113により三次元モデルの実寸法が与えられる。点群位置データに基づいて三次元モデルを作成する技術に関しては、例えば、WO2011/070927号公報、特開2012−230594号公報、特開2014―35702号公報に記載されている。利用する三次元座標系としては、回転台110の特定の部分を原点としたローカル座標が用いられる。

記憶部290は、3D計測処理装置200で利用される各種のデータ、動作プログラム、動作の結果得られた各種のデータ等を記憶する。記憶部190の他に外部の記憶装置(外付けハードディスク装置やデータ記憶用サーバ等)を用いることも可能である。

回転制御部295は、回転台110を回転させるモータ(図示せず)を駆動するモータ駆動装置140に制御信号を送り、モータの動作制御を行う。回転制御部295の機能により、回転台110の回転のタイミングや回転速度の設定が行われる。

撮影タイミング制御部296は、カメラ131,132,133に制御信号を送り、撮影動作の制御を行う。すなわち、カメラ131,132,133は、撮影タイミング制御部296に制御されて、回転する回転台110およびその上に配置された植物120の撮影を行う。例えば、回転台110を10回転/分の回転速度で回転させ、その際にカメラ131,132,133のそれぞれは、6秒間隔で繰り返し静止画像の撮影を行う。

例えば、カメラ131に着目する。この場合、回転台110を回転させながら、カメラ131は、特定の間隔で植物120の撮影を繰り返し行う。この際、N回目に撮影された画像(第1の画像)とN+1回目に撮影された画像(第2の画像)とを比較すると、その間に回転台110が回転しているので、第1の画像と第2の画像とは、視点の位置を変えて撮影したステレオ画像となる。こうして、回転台110を回転させながら、撮影を繰り替えし行うことで、徐々に視点を変更しつつ植物120を撮影し、多数のステレオ画像が得られる。

3.処理の一例
以下、回転台110上の植物120の点群データを得、更に三次元モデルを作成する処理の一例を説明する。以下の処理は、3D計測システム100を用いて行われる。以下に説明する処理(図5〜図9の処理)を実行するプログラムは、記憶部290に記憶され、3D計測処理装置200によって実行される。当該プログラムは、適当な記憶媒体や記憶サーバ等に記憶され、そこから提供される形態も可能である。

(全体の処理の流れ)
以下の説明では、植物120として緑色の色彩を示す植物を対象とする場合の例を説明する。まず、全体の処理の流れを簡単に説明する。図5には、全体の処理の概要が示されている。まず、撮影を行う(ステップS100)。撮影は、観察対象の植物120を載せた回転台110を回転させながら、特定の間隔でカメラ131〜133により行う。撮影は、例えば、回転台110が等速で1回転する間に等時間間隔で72枚の静止画像が撮影される条件、すなわち5°異なる角度から植物120を72回撮影する条件で行う。72枚×3=216枚の撮影画像の画像データは、3D計測処理装置200に送られ、画像データ受付部210で受け付けられる。画像データ受付部210で受け付けられた画像データは、記憶部290に記憶される。撮影(回転)角度は、植物や取得したい点群密度によって任意に設定できる。

植物120を撮影した画像データを得たら、各撮影画像から背景(植物120および回転台110以外の回転していない背景の画像)を除去する処理を行う(ステップS200)。ステップS200の背景除去には2つの方法がある。第1の方法は、原画像を2値化マスクに通し、背景を除去する方法である。第2の方法は、背景色差画像を作成し、更にこの背景色差画像を2値化マスクで処理する方法である。なお、利用する2値化マスクに関して、原画像に対しては、当該原画像に基づく2値化マスクを用い、背景色差画像に対しては、当該背景色差画像に基づく2値化マスクを用いる。

通常は第1の方法が利用され、撮影環境が悪い場合や対象によっては第2の方法を利用する。第2の方法の方がロバスト性が高く、三次元データ化し難い植物や撮影環境が悪い場合でも有効である。背景の除去は、全ての撮影画像に対して行われる。ステップS200の詳細については後述する。

撮影画像から背景を取り除いたら、対象物(植物120と回転台110)の画像に基づく点群データの作成を行う(ステップS300)。この処理の詳細については後述する。

対象物の点群データを得たら、当該点群データに基づく三次元モデルの作成を行う(ステップS400)。こうして、撮影画像に基づく植物120の三次元モデルを得る。

(2値化マスクの作成)
以下、図5のステップS200で行われる背景除去の処理について説明する。まず、2値化マスクの作成について説明する。図6には、2値化マスクの作成手順の一例が示されている。この処理は、2値化マスク作成部221において行われる。2値化マスクは、当該マスクを適用する画像(原画像または背景色差画像)に基づいて作成される。まずこの処理では、2値化マスクの適用対象となる画像(原画像または背景色差画像)が選択され、この画像の中から対象となる画素が選択される(ステップS211)。ついで、当該画素に関してaveobjとavebgが計算され(ステップS212)、更にaveobj<avebgであるか否かの判定が行われる(ステップS213)。

ここで、aveobj<avebgであれば、当該画素を対象として抽出する設定とし(ステップS215)、そうでなければ当該画素をマスクする(抽出しない)設定とする。以上の処理を全ての画素に対して行うことで、2値化マスクが作成される。

(背景色差画像の作成)
図7には、背景色差画像を作成する手順の一例が示されている。背景色差画像の作成は、背景色差画像作成部222において行われる。この処理では、まず被処理対象の画像から対象となる画素が選択される(ステップS221)。ついで、当該画素に関してaveobjとavebgが計算され(ステップS222)、更にaveobj<avebgであるか否かの判定が行われる(ステップS223)。

ここで、aveobj<avebgであれば、当該画素を対象として抽出する設定とし(ステップS225)、そうでなければ当該画素を当該画素を含む16×16画素といった局所領域の平均色に変換する(S224)。以上の処理を全ての画素に対して行い背景色差画像を作成する。

(2値化マスクを用いた背景除去)
図8には、2値化マスクを用いた背景除去の処理の手順の一例が示されている。まず、処理の対象となる画像を選択する(ステップS231)。処理の対象となる画像は、原画像または背景色差画像である。処理対象の画像を選択したら、2値化マスクを用いた背景除去処理を行い(ステップS232)、背景処理を行った画像を取得する(ステップS233)。2値化マスクを用いた背景の除去処理では、対象となる画像が原画像の場合は、この原画像に基づく2値化マスクを用い、対象となる画像が背景色差画像の場合は、この背景色差画像に基づく2値化マスクを用いる。

(点群データの作成)
以下、図5のステップS300の処理、すなわち背景を除去した撮影画像から対象物(植物120と回転台110)の点群データを作成する処理について説明する。図9には、点群データを作成する処理の手順を示すフローチャートが示されている。なお、点群データの作成は、カメラ131〜133毎に個別に、または統合して行われる。個別の場合は、カメラ131の撮影画像から得られた点群データ、カメラ132の撮影画像から得られた点群データ、カメラ133の撮影画像から得られた点群データが得られる。

この処理では、まず立体画像を構成する2枚ステレオ画像を選択する(ステップS241)。ステレオ画像は、異なる視点から撮影対象が重複するように撮影を行った2枚の写真画像である。ここで、ステレオ画像は、背景が除去され対象物(回転台110と植物120)の画像が抽出された撮影画像、すなわち原画像を2値化マスクで処理した画像、または背景色差画像を2値化マスクで処理した画像から選択される。なお、図3(B)に関連して説明したように、異なる視点から撮影した3枚以上の画像を用いて点群データを作成すると、更に位置精度の高い点群データが得られるが、ここでは基本的な2枚の写真画像を用いる場合を説明する。

ステレオ画像を選択したら、ステレオ画像を構成する2枚の画像中から特徴点の抽出を行う(S242)。この処理は、図2の特徴点抽出部250で行われる。特徴点を抽出したら、ターゲット113を検出する(ステップS243)。この処理は、ターゲット検出部240によって行われる。特徴点を抽出し、またターゲット113を抽出したら、複数の特徴点、およびターゲット113の間隔から得られるスケールを用いて各カメラの外部標定要素(位置と姿勢)の算出を行う(ステップS244)。この処理は、外部標定要素算出部245において、図3(A)に原理を示す後方交会法を用いて行われる。

この例では、回転台110上の特定の点(例えば、回転台部材112上面の回転中心の点)を原点とするローカル座標(三次元直交座標)が設定され、この座標系上で外部標定要素が算出される。また、特徴点の位置の座標もこの座標系を用いて記述される。

次に、この段階で選択しているステレオ画像間における特徴点の対応関係の特定(ステレオマッチング)を行う(ステップS245)。この処理は、対応点対応部260で行われる。ステレオ画像間における特徴点の対応関係を特定したら、図3(B)に示す原理により、各特徴点の位置(三次元座標位置)を求める(ステップS246)。この処理は、三次元座標算出部270で行われる。

以下、ステレオ画像中で対応関係が特定された特徴点の位置を求める処理について簡単に説明する。まず、図3(B)に示す点Pがステレオ画像を構成する2つの画像の間で対応関係が特定された特徴点の一つだとする。ここで、特徴点Pの座標(位置)は未知であるが、2つの画像間で特徴点Pの対応関係が特定されているので、2つの画像における画面座標pとpは既知である。また、カメラの外部標定要素(O,k,φ,ωとO,k,φ,ω)は、ステップS244において算出されている。したがって、Oとpを通る方向線とOとpを通る方向線を算出し、その交点を求めることで、特徴点Pの座標が算出される。この処理をステレオ画像中で対応関係が特定された全ての特徴点に対して行うことで、ステレオ画像に写った対象物の点群データが得られる。

例えば、時間軸上で隣接する画像として、画像A,画像B,画像C・・・があるとする。この場合、画像Aと画像Bでステレオ画像を構成し、画像Bと画像Cでステレオ画像を構成し、画像Cと画像Dでステレオ画像を構成し、・・・とした上で上述した点群データの算出を行うことで対象物の点群データが得られる。

この点群データは、カメラ131,132,133毎に得られる。なお、カメラ毎に得られた点群データは、同じ座標系上で記述されているので、簡単に統合できる。

(三次元モデルの作成)
点群データを得たら、三次元モデル作成部280において植物120の三次元モデルの作成を行う。

(回転台の除去)
回転台110の三次元モデルは不要なので、除去してもよい。回転台110は、水平面と鉛直面により構成されているので、閾値以上の広がりを有する水平面と垂直面のデータを除去することで、回転台110を排除した植物120の三次元モデルが得られる。この処理は、点群データの段階で行うこともできる。

(優位性)
回転台110は回転軸に対して非対称な形状であるので、ステレオマッチングや点群データ同士の位置合わせの際に、対象物(回転台110+植物120)の概略の位置合わせが容易である。そのため、演算の負担が減少し、また演算ミスおよび演算誤差の発生が抑えられる。

仮に、回転台110が回転軸(Z軸)に対して対称な形状の場合、形状を利用したマッチング(2枚の写真画像中における特徴点の対応関係の特定)や位置合わせ(2つの点群データ間における位置合わせ)の初期における概略の位置が合った状態が複数パターン存在する。この場合、ステレオマッチングや位置合わせに係る演算の処理条件の設定が誤りとなり、ある程度演算が進んだ段階でエラーとなったり収束しない可能性がある。対象となるステレオ画像や点群データは多数あるので、上述のようなエラーは、演算時間の増加および不要な演算を招き、実用性が著しく低下する。図1の回転台110は、立方体111aがあるので、画像中における回転台の向きが一義的に決まる。そのため、初期における概略の位置合わせが容易および確実であり、上述したエラーの発生が抑えられる。

また、第2の回転台部材112の側面を曲面とすることで、マッチング誤差の発生が抑えられる。第1の回転部材111のような側面に明確な鉛直方向に延在するエッジ(鉛直エッジ)が存在する場合、エッジ部分の点群の扱いに起因してマッチング誤差が増大する問題が発生する。この例では、第1の回転部材111の側面には鉛直エッジが存在するが、第2の回転部材112の側面には鉛直エッジが存在しないので、上述したマッチング誤差の発生が抑えられる。

なお、仮に第1の回転部材111がなく第2の回転部材112のみであると、回転台110の向き(回転軸周りの角度位置)が特定できないので、マッチングや点群データの位置合わせの初期におけるステレオ画像間における回転台110の概略の位置合わせができない。そのため、処理に支障が生じる。他方において、仮に第2の回転部材112がなく第1の回転部材111のみであると、回転台110の向きは特定できるが、垂直エッジ部分に起因するマッチングエラーが問題になる。

本実施形態では、第1の回転部材111により回転台110の向きを判別し、第2の回転部材112により特徴点間のマッチングに際する問題の発生を抑えている。この回転台110を利用したマッチングや点群データの位置合わせを行うことで、植物120の点群データを効率よく、また高い精度で得ることができる。

本方式によれば、回転台110上の植物120の点群データに関して、レーザスキャナで取得した点群データと画像から取得した点群データとの比較や画像から取得した点群データ同士の比較統合を行いたい場合がある。この場合、回転台110に係る点群データは、水平面上および垂直面上に束縛された点群であり、また回転台110の向きが判別しやすいので、両点群データのマッチングを容易に行うことができる。

また、背景色差画像を作成することによる背景除去と、2値化マスクを用いた背景除去を行うことで、三次元データ化に必要なステレオマッチングが行い易い背景除去画像を得ることができる。

(その他)
カメラ131と132の撮影画像やカメラ132と133の撮影画像、あるいはカメラ131と133の撮影画像をステレオ画像として取得し、三次元データの作成に利用してもよい。

図10には、軸方向から見た形状が点対称および線対称でない形状を有している回転台の他の例が示されている。図10には、鉛直上方から回転台を見た場合の状態が示されている。図10には、回転台150が示されている。回転台150は、回転中心を軸に回転する。回転台150の上面は水平面であり、図示されていない側面は鉛直面である。この上面と側面には、図1の回転台110の場合と同様なランダムドットパターンが形成されている。回転台150の側面は、滑らかな曲面であり、鉛直方向に延在するエッジが存在しない。

回転台150は、軸方向から見た形状が点対称または線対称でない(360°×n以外の回転に対して対称でない)。このため、図1の回転台110の場合と同様に、撮影画像から向きの特定が行い易い。また鉛直方向に延在するエッジがないので、ステレオ画像のマッチングの際におけるマッチング不良やマッチングミスが生じ難い。

原画像→2値化マスクで背景除去→背景色差画像とする処理も可能である。この場合、まず原画像を当該原画像に基づく2値化マススに通し、背景除去を行う。ついで、この第1段階の背景除去を行った画像から背景色差画像を作成する。この場合も背景の除去が確実で、更に背景色差画像の特徴である輪郭がぼけた画像が得られるので、ステレオマッチングが行い易い。また、背景色差画像の作成に際しては、抽出領域の膨張(拡張)処理領域のみを平均色差画像として、他の部分を2値化マスクとしてもよい。こうすることで境界部分のエラーのみを減少させ、背景除去を行うことも可能となる。

本発明は、回転する台の上に置かれた対象物を三次元計測する技術に利用できる。ここで、対象物は植物に限定されない。

100…3D計測システム、110…回転台、111…第1の回転部材、111a…回転台110の向きを判別するための立方体、112…第2の回転部材、113…ターゲット、131〜133…カメラ、150…回転台、200…PCを利用した3D計測処理装置。

Claims (7)

  1. 回転が可能な回転台と、
    前記回転台の上に置かれた対象物を撮影するカメラと
    を備え、
    前記回転台は、
    水平な上面と鉛直な曲面を有し、
    軸方向から見た形状が点対称および線対称でない形状を有している三次元計測装置。
  2. 前記回転台の上面および側面にはランダムドット模様が形成され、
    前記ランダムドット模様の色として、前記対象物の色と同系色が選択されている請求項1に記載の三次元計測装置。
  3. 前記カメラが撮影した写真画像における特定の点と対象となる領域の色強度の差C1と、前記特定の点と背景となる領域の色強度の差C2との大小関係に基づき、前記特定の点が抽出領域または背景領域のいずれであるかの判定を行う処理部と、
    前記抽出領域の輪郭をぼかした画像を作成する画像作成部と、
    前記抽出領域の輪郭をぼかした処理が行われた視点の異なる複数の画像に対して、対応点の特定を行う対応点特定部と
    を備える請求項1または2に記載の三次元計測装置。
  4. 異なる視点から対象物を撮影した複数の写真画像に基づき前記対象物の三次元計測を行う三次元計測装置であって、
    前記写真画像における特定の点と対象となる領域の色強度の差C1と、前記特定の点と背景となる領域の色強度の差C2との大小関係に基づき、前記特定の点が抽出領域または背景領域のいずれであるかの判定を行う処理部を備える三次元計測装置。
  5. C1<C2の場合に、前記特定の点を抽出領域と判定し、C1<C2でない場合に、前記特定の点を背景領域と判定する請求項4に記載の三次元計測装置。
  6. 前記抽出領域の輪郭をぼかした画像を作成する画像作成部を備える請求項4または5に記載の三次元計測装置。
  7. 前記抽出領域の輪郭をぼかした処理が行われた視点の異なる複数の画像に対して、対応点の特定を行う対応点特定部を備える請求項6に記載の三次元計測装置。
JP2017102050A 2017-05-23 2017-05-23 三次元計測装置 Pending JP2018197685A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017102050A JP2018197685A (ja) 2017-05-23 2017-05-23 三次元計測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017102050A JP2018197685A (ja) 2017-05-23 2017-05-23 三次元計測装置

Publications (1)

Publication Number Publication Date
JP2018197685A true JP2018197685A (ja) 2018-12-13

Family

ID=64663330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017102050A Pending JP2018197685A (ja) 2017-05-23 2017-05-23 三次元計測装置

Country Status (1)

Country Link
JP (1) JP2018197685A (ja)

Similar Documents

Publication Publication Date Title
Singh et al. Bigbird: A large-scale 3d database of object instances
Barrow et al. Parametric correspondence and chamfer matching: Two new techniques for image matching
Nayar et al. Reflectance based object recognition
US9214013B2 (en) Systems and methods for correcting user identified artifacts in light field images
US7046840B2 (en) 3-D reconstruction engine
JP4213209B2 (ja) エッジベースのイメージ・ヒストグラム解析用マシン・ビジョンの方法および装置
Shen Accurate multiple view 3d reconstruction using patch-based stereo for large-scale scenes
CN101978395B (zh) 建筑物屋顶轮廓识别装置及建筑物屋顶轮廓识别方法
US7702131B2 (en) Segmenting images and simulating motion blur using an image sequence
JP2004157968A (ja) 3次元コンピュータモデリング
EP2212738B1 (en) A stereo-image registration and change detection system and method
US6954212B2 (en) Three-dimensional computer modelling
JP5094663B2 (ja) 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
US8773508B2 (en) 3D imaging system
DE60310226T2 (de) Verfahren zur linearen raumabtastung und vorrichtung zur erzeugung eines numerischen 3d modells
JP2007527569A (ja) 立体視に基づく差し迫った衝突の検知
JP4245963B2 (ja) 較正物体を用いて複数のカメラを較正するための方法およびシステム
DE112010004767T5 (de) Punktwolkedaten-Verarbeitungsvorrichtung, Punktwolkedaten-Verarbeitungsverfahren und Punktwolkedaten-Verarbeitungsprogramm
CN101162524B (zh) 图像处理设备及方法
US9154773B2 (en) 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
JP5343042B2 (ja) 点群データ処理装置および点群データ処理プログラム
Böhm et al. Automatic marker-free registration of terrestrial laser scans using reflectance
Stamos et al. Integration of range and image sensing for photo-realistic 3D modeling
JP5739409B2 (ja) 第1の画像デバイスおよび第2の画像デバイスの相対位置を決定する方法及びこれらデバイス
CN102834845B (zh) 用于多摄像装置校准的方法与装置