JP2005043084A

JP2005043084A - System and method for compositing photographed image, program, and recording medium

Info

Publication number: JP2005043084A
Application number: JP2003200283A
Authority: JP
Inventors: Kazuo Matsufuji; 和夫松藤; Akira Takakura; 章高倉; Toshiki Hara; 豪紀原; Yoko Hanada; 陽子花田
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2003-07-23
Filing date: 2003-07-23
Publication date: 2005-02-17

Abstract

PROBLEM TO BE SOLVED: To provide a photographed image composition system capable of producing efficiently a three-dimensional CG data of an object having a depth. SOLUTION: A shape coupling processor 3 sets photographing parameters in a three-dimensional shape input device 5, in a photographed image composition system 1. The three-dimensional shape input device 5 shifts a focal distance (within the range of the depth of a field) of a laser beam to acquire a plurality of photographed data of the measuring object 11. The shape coupling processor 3 receives the plurality of photographed data acquired by the three-dimensional shape input device 5, and couples the data to create a highly accurate coupled data. The three-dimensional shape of the measuring object 11 having the depth is produced efficiently based on the coupled data. COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、実物体の３次元形状を非接触で計測する３次元形状計測システムにに関するものである。
【０００２】
【従来の技術】
近年、コンピュータハードウェアの性能は急速に向上してきている。特にグラフィックスハードウェアやネットワークの情報転送速度はめざましい進歩を遂げており、汎用ＰＣでさえも高性能なハードウェアを搭載し、高速通信が進んできている。また、３次元入力装置を用いた実体物から３次元情報（形状や色）をデータ化し、コンピュータに取り込む技術も進歩してきている。
【０００３】
以上のことから、ネットワーク経由で３次元コンピュータグラフィックス（以下３ＤＣＧ）コンテンツを配信するサービスの需要が高まりつつある。従来の３ＤＣＧ制作方法（３ＤＣＧ制作アプリケーションで制作）では、３ＤＣＧコンテンツの制作コストが高くなるため、制作コストを低減する３次元形状入力装置が導入されるようになった。
【０００４】
例えば、レーザ光を用いた光切断方式の３次元形状入力装置が知られている。即ち、この方式は、レーザ光をスリット状にして対象物をスキャンし、その反射光をＣＣＤカメラで受光する。三角測量法の原理で、レーザ発光部から対象物までの方向と距離とを検出することで、対象物の３次元形状を計測する（特許文献１参照）。
【０００５】
また、複数の照射手段を設け、互いに異なる方向から対象物に照射し、収差による影響の低減、および計測精度を向上させる３次元形状計測装置がある（特許文献２参照）。
【０００６】
【特許文献１】
特開２０００−１３１０３１号公報
【特許文献２】
特開２０００−３２９５３１号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、レーザ光を用いた３次元形状入力装置において、１度に撮影できる奥行き方向の範囲（以下、被写界深度と記す）は限られている。このため、奥行き方向に距離がある対象物は、１度の撮影で全ての計測を行うことができない。
【０００８】
従来は、焦点距離（被写界深度の範囲）をずらしながら、対象物を複数回計測し、計測結果の位置関係を手動修正した後、結合（合成）していた。このため、対象物の撮影と、結合処理を繰り返し行う必要があり、３次元形状ＣＧデータの制作コストが高くなる原因となっていた。
【０００９】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、奥行きのある対象物の３次元形状ＣＧデータを、効率的に制作できる撮影画像合成システムを提供することにある。
【００１０】
【課題を解決するための手段】
前述した目的を達成するために第１の発明は、対象物の３次元形状を撮影する形状入力装置と、前記形状入力装置が撮影する複数の撮影データを読み取る読取手段と、前記複数の撮影データを結合し、結合データを作成する結合データ作成手段と、前記結合データを記憶する記憶手段とを、具備し、前記形状入力装置は、焦点距離をずらして前記対象物を複数回撮影し、前記対象物の撮影データを得ることを特徴とする撮影画像合成システムである。
【００１１】
形状入力装置は、焦点距離をずらして対象物を撮影すると、焦点の合う奥行き方向の距離範囲である被写界深度もずれ、撮影される前記対象物の領域が変わる。
【００１２】
前記結合データ作成手段は、前記複数の撮影データを、重み付け法、最小二乗法、ロバスト推定法等を用いて結合し、結合データを作成する。即ち、被写界深度を変えて得られた複数の撮影データを、最適な手法で結合して高精度な３次元形状を得る。
【００１３】
重み付け法は、例えば、焦点距離の近い撮影データに重みをより大きくつけて、撮影データを結合する。
【００１４】
最小二乗法は、撮影データと結合データとの差の２乗和が最小となるようなパラメータを決定する手法であり、撮影データの誤差が正規分布を示す時の最尤推定法である。
【００１５】
ロバスト推定法は、例外値をある程度含む撮影データであっても、例外値の影響を受けにくい推定法である。
【００１６】
前記結合データ作成手段は、前記複数の撮影データを、焦点距離が近い撮影データほど優先して結合する。焦点距離が近いほど測定精度が高いので、焦点距離が近い撮影データを優先して結合する結合手法である。
【００１７】
形状入力装置は、レーザ光を用いた光切断方式の３次元形状入力装置である。レーザ照射機から照射されたレーザ光を、円筒形レンズでスリット状にし、ガルバノミラーで方向を変え、対象物に照射する。対象物をスキャンして反射光をＣＣＤ等の画像撮影装置で取り込み、三角測量法の原理で、レーザ発光部から対象物までの距離と方向を検出して、対象物の３次元形状を計測する。
【００１８】
撮影データとは、レーザ光をガルバノミラーで走査し、１回のスキャンで例えば６４０点×４８０点の計測を行い、各点ごとに対象物の奥行き情報（距離情報）を測定したデータである。本実施の形態では、同一視点からレーザ光の焦点距離を変えて、計測対象物の複数の撮影データを得る。
【００１９】
結合データとは、得られた複数の撮影データの重複する領域に、前述のいずれかの結合データ作成手段を施して得られる、高精度な対象物の３次元形状データである。
【００２０】
第１の発明の撮影画像合成システムは、対象物の３次元形状を撮影する形状入力装置の複数の撮影データを読み取り、複数の撮影データを結合して結合データを作成する。形状入力装置は、同一視点からレーザ光の焦点距離を変えて対象物を複数回撮影し、撮影データを得る。結合データ作成手段は、重み付けの方法、最小二乗法を利用する方法、ロバスト推定法、レーザ強度が弱い撮影データを優先させる方法等がある。
【００２１】
第２の発明は、形状入力装置が対象物の３次元形状を撮影して得る、複数の撮影データを読み取る読取工程と、前記複数の撮影データを結合し、結合データを作成する結合データ作成工程と、前記結合データを記憶する記憶工程とを、具備し、前記形状入力装置は、焦点距離をずらして前記対象物を複数回撮影し、前記対象物の撮影データを得ることを特徴とする撮影画像合成方法である。
【００２２】
第２の発明の撮影画像合成方法は、形状入力装置が対象物の３次元形状を撮影して得る、複数の撮影データを読み取り、複数の撮影データを結合して結合データを作成する方法である。形状入力装置は、同一視点からレーザ光の焦点距離をずらして対象物を複数回撮影し、対象物の撮影データを得る。
【００２３】
第３の発明は、コンピュータを、請求項１から請求項３記載のいずれかの撮影画像合成システムとして機能させるためのプログラムである。
【００２４】
第３の発明のプログラムは、請求項１から請求項３記載の撮影画像合成システムを機能させるものであり、このプログラムをネットワークを介して流通させることもできる。
【００２５】
第４の発明は、コンピュータを、請求項１から請求項３記載のいずれかの撮影画像合成システムとして機能させるためのプログラムを記録した記録媒体である。
【００２６】
第４の発明の記録媒体は、請求項１から請求項３記載の撮影画像合成システムを機能させるプログラムを記憶しており、この記録媒体を流通させることもでき、またこのプログラムをネットワークを介して流通させることもできる。
【００２７】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を詳細に説明する。図１は、本発明の実施の形態に係る撮影画像合成システム１の構成を示す図である。
【００２８】
（１．構成）
撮影画像合成システム１は、計測対象物１１の３次元形状を、非接触で測定するシステムであり、形状結合処理装置３と、３次元形状入力装置５とで構成される。
【００２９】
（１−１．形状結合処理装置３の構造）
形状結合処理装置３は、図１に示すように、ＣＰＵ（中央処理装置）等の制御部１５と、ハードディスク等の記憶部１３と、ディスプレイ等の表示装置７と、キーボードやマウスなどの入力装置９等で構成される。
【００３０】
操作者は、入力装置９から撮影パラメータの入力を行う。撮影パラメータとは、計測対象物１１までの距離、撮影に使われるレーザ強度、画像撮影時の輝度などである。尚、幾つかのパターンの撮影パラメータを記憶部１３に登録し、それを選択するようにしても良い。
【００３１】
表示装置７は、ＣＲＴや液晶ディスプレイ等の機器であり、撮影パラメータの設定項目や、計測された３次元コンピュータグラフィックスデータ（ポリゴン化された形状情報、及びテクスチャ情報）を表示する。
【００３２】
記憶部１３は、ハードディスクやＣＤ−ＲＯＭ等の機器である。図３に記憶部１３の内容を示す。記憶部１３には、３次元形状入力装置５で測定された計測対象物１１の撮影データ２９、及び色情報３９を登録する。また、撮影データ２９を結合した結合データ３１を登録する。また、結合データ３１に色情報３９をつけて作成される３ＤＣＧデータ４１を登録する。
【００３３】
制御部１５は、入力装置９から入力される撮影パラメータを、３次元形状入力装置５に設定し、撮影処理の管理を行う。また、３次元形状入力装置５から、計測対象物１１の奥行き情報、及び色情報３９を読み込み、加工処理と結合処理を施して表示装置７に出力する。制御部１５の詳細構造を図２に示す。
【００３４】
制御部１５は、コンピュータのＣＰＵ等であり、処理機能により図２のような構造に分けられる。即ち制御部１５は、その機能により、３次元形状入力装置管理部２３と、撮影データ処理部２５と、撮影処理管理部２１と、結合処理部２７とで構成される。図２により、処理の流れとともに、制御部１５の各機能を説明する。
【００３５】
撮影処理管理部２１は、入力装置９から入力（ステップ４０１）された撮影パラメータを、３次元形状入力装置管理部２３に送り、更に形状入力装置管理部２３に対し撮影実行の命令を行う（ステップ４０２）。
【００３６】
３次元形状入力装置管理部２３は、撮影パラメータを３次元形状入力装置５に設定し、撮影処理を実行させる（ステップ４０３）。また、３次元形状入力装置５からの、計測対象物１１の奥行き情報（撮影データ２９）と色情報３９を取得し（ステップ４０４）、撮影データ処理部２５に送る（ステップ４０５）。
【００３７】
撮影データ処理部２５は、３次元形状入力装置管理部２３から計測対象物１１の奥行き情報（撮影データ２９）と色情報３９を読み込み、修正及び変換した後、撮影処理管理部２１に送る（ステップ４０６）。
【００３８】
撮影処理管理部２１は、撮影データ処理部２５から計測対象物１１の奥行き情報（撮影データ２９）と色情報３９を読み込み、結合処理部２７に送る（ステップ４０７）。
【００３９】
結合処理部２７は、焦点距離（被写界深度の範囲）の異なる奥行き情報（撮影データ２９）、及び色情報３９を撮影処理管理部２１から読み込み、結合して結合データ３１、３ＤＣＧデータ４１を作成し、撮影処理管理部２１に送る（ステップ４０８）。
【００４０】
撮影処理管理部２１は、奥行き情報（撮影データ２９）、色情報３９、結合データ３１、３ＤＣＧデータ４１を記憶部１３に登録する（ステップ４０９）。また、撮影処理管理部２１は、３ＤＣＧデータ４１を記憶部１３から読み出して（ステップ４１０）、表示装置７に３次元画像として表示させる（ステップ４１１）。
【００４１】
（１−２．３次元形状入力装置５の構造）
３次元形状入力装置５は、レーザ光による光切断方式を採用しており、レーザ照射装置１７と画像撮影装置１９とを備える。レーザ照射装置１７は、３次元形状入力装置管理部２３により設定された撮影パラメータを基に、計測対象物１１に対してレーザ光を照射する。図４に３次元形状入力装置５の構成を示す。
【００４２】
レーザ照射装置１７は、レーザ照射機３３と、円筒型レンズ３５と、ガルバノミラー３７とで構成される。レーザ照射機３３から照射されるレーザ光を、円筒型レンズ３５でスリット状にし、さらにガルバノミラー３７で方向を変えて計測対象物１１に照射する。計測対象物１１で反射されたレーザ光を、ＣＣＤ等の画像撮影装置１９が受光する。レーザ光は、一般照明光と比べて輝度が高いため、入力された画像内のレーザ照射部分を読み取ることができる。
【００４３】
レーザ照射機３３とガルバノミラー３７の位置関係、及びガルバノミラー３７の角度と受光データから、三角測量法を用いて計測対象物１１の奥行き情報（距離情報）を得る。ガルバノミラー３７の角度を変え、計測対象物１１を１回走査することで、画像撮影装置１９は例えば６４０点×４８０点の奥行き情報を取得する。
【００４４】
また、レーザを照射していないときの計測対象物１１の色を収集することで、色情報３９を取得し、奥行き情報と合わせて、計測対象物１１の３次元形状を復元する。
【００４５】
尚、３次元形状入力装置５は、計測対象物１１が前後方向に奥行きを持つ場合、被写界深度の範囲に計測対象物１１が入らないならば、１度の撮影で計測対象物１１の撮影データを得ることはできない。この場合、レーザ光の焦点距離（即ち被写界深度の範囲）を重複領域があるようにずらしながら、計測対象物１１を何回かに分けて撮影する。撮影データ２９のうち、焦点距離の近いデータのほうが、測定精度は高い。
【００４６】
図５、及び図６に、被写界深度５７内外の位置の違いによる、計測対象物の撮影画像５９の例を示す。図５は、３次元形状入力装置５に向かって前後方向に並んだ計測対象物５１、５３、５５を示す。レーザ照射装置１７の被写界深度５７が、図５に示す深さに設定されているとすると、計測対象物５３のみが、焦点の合う距離範囲にある。
【００４７】
３次元形状入力装置５の画像撮影装置１９で撮影された撮影画像５９は、図６に示される。即ち、焦点の合う（被写界深度５７の範囲にある）計測対象物５３は、鮮明な画像が得られるが、計測対象物５１、５５は、ピントのずれた画像になる。このとき、焦点の合う計測対象物５３は、奥行き情報（距離情報）が得られるが、ピントの合わない範囲（即ち被写界深度５７外）の画像の奥行き情報は得られず、ＮＯＶＡＬＵＥ値が入る。
【００４８】
画像撮影装置１９は、撮影後の計測対象物１１の奥行き情報と色情報３９を、３次元形状入力装置管理部２３に送る。
【００４９】
（２．フローチャート）
次に、図７に本実施の形態における撮影画像合成システム１のフローチャートを示す。計測対象物６１の３次元形状データを取得する図を図１０に示す。また、図１１に、レーザ光の焦点距離（被写界深度の範囲）をずらして計測対象物６１を撮影した複数の撮影画像２８を示す。図１２は、図１１のそれぞれの画像の撮影データ２９（ａ）、（ｂ）、（ｃ）及び、結合データ３１（ｄ）を示す。
【００５０】
図７のフローチャートにおいて、まず計測対象物６１の撮影準備として、操作者は計測対象物６１の設置、及び照明の調整などを行う。また、制御部１５は、入力された撮影パラメータ（計測対象物６１までの距離、レーザ強度、撮影時の輝度など）を、３次元形状入力装置５に設定する（ステップ１０１）。
【００５１】
次に、３次元形状入力装置５は、制御部１５が設定する撮影パラメータに従い、計測対象物６１までの距離、即ち焦点距離（被写界深度の範囲）を変更しつつ且つ、被写界深度の重複部分が存在するように、同一視点から計測対象物６１を複数回撮影し撮影データ２９（計測対象物６１の奥行き情報）を得る（ステップ１０２）。
【００５２】
例えば図１０のように計測対象物６１は、前後方向に距離があるので、３次元形状入力装置５の焦点距離（被写界深度の範囲）を、被写界深度６３、６５、６７の３段階にずらして撮影する。それぞれの被写界深度６３、６５、６７の時の撮影画像２８を、図１１の（ａ）、（ｂ）、（ｃ）に示す。
【００５３】
図１１の、被写界深度の範囲（即ち焦点の合う範囲）にある計測対象物６１の領域は、それぞれ領域６９、７５、８１に示される。斜線領域７１、７３、７７、７９は、被写界深度の範囲外、即ち焦点のずれた領域を示す。
【００５４】
また、３次元形状入力装置５は、制御部１５の指示によりレーザ光を照射しないで計測対象物６１の色情報３９を収集し、撮影データ２９とともに形状結合処理装置３（制御部１５）に送る。
【００５５】
形状結合処理装置３の３次元形状入力装置管理部２３は、撮影データ２９と色情報３９を撮影データ処理部２５に送る。撮影データ処理部２５では、撮影データ２９を、格子状（６４０×４８０）のデータ配列に変換する。即ち図１１の撮影画像２８（ａ）は図１２の撮影データ２９（ａ）に、図１１の撮影画像２８（ｂ）は図１２の撮影データ２９（ｂ）に、図１１の撮影画像２８（ｃ）は図１２の撮影データ２９（ｃ）に、変換する。尚、図１２の＊印は、その配列に奥行き情報があることを示す。
【００５６】
図１１撮影画像２８（ａ）の領域６９は、図１２撮影データ２９（ａ）の領域８３と領域８５で示される。図１１撮影画像２８（ａ）の斜線領域７１は、図１２撮影データ２９（ａ）の領域８７に対応しており、被写界深度外（焦点が合っていない）の領域であるため、奥行き情報は得られず初期値であるＮＯＶＡＬＵＥ値が入ることを示す。図１１撮影画像２８（ｂ）、図１１撮影画像２８（ｃ）についても同様に、図１２撮影データ２９（ｂ）、図１２撮影データ２９（ｃ）のデータを得る。
【００５７】
尚、図１０のように、被写界深度の範囲をずらして計測対象物６１を撮影するとき、重複して撮影する領域がある。即ち重複して撮影データの得られる領域は、図１２撮影データ２９（ａ）の領域８５と図１２撮影データ２９（ｂ）の領域９１、図１２撮影データ２９（ｂ）の領域９５と図１２撮影データ２９（ｃ）の領域１０１である。
【００５８】
撮影データ処理部２５は、上記のように変換された撮影データ２９を、撮影処理管理部２１に送る。撮影処理管理部２１は、この撮影データ２９を結合処理部２７に送り、結合処理部２７では、撮影データ２９の結合処理を行い結合データ３１を作成する（ステップ１０３）。また結合データ３１と色情報３９を３ＤＣＧデータ４１に変換する。結合処理方法については後述する。
【００５９】
撮影処理管理部２１は、結合処理部２７から、作成された３ＤＣＧデータ４１を読み出し、記憶部１３に登録する（ステップ１０４）。尚、記憶部１３には、撮影データ２９、結合データ３１、色情報３９を登録してもよい。
【００６０】
（３．撮影データ２９のデータ結合方法）
結合処理部２７における撮影データ２９のデータ結合処理について説明する。結合方法にはいくつかの手段が考えられ、ここでは２種類のデータ結合処理のフローチャートを図８、図９に示す。ただしフローチャート内で利用される結合方法は、記載された手法だけとは限らない。
【００６１】
撮影データ２９は、格子状の奥行き情報群として撮影データ２９配列Ｆ_ｉ（ｘ、ｙ）、１≦ｉ≦ｎ（ｎ：撮影回数）に格納される。例えばｘ＝６４０、ｙ＝４８０の格子状の２次元配列であるとすると、配列（６４０、４８０）の座標ごとに奥行き情報が格納されている。
【００６２】
尚、奥行き情報のない座標には、ＮＯＶＡＬＵＥ値が格納されている。例えば図１２の撮影データ２９Ｆ_１（ｘ、ｙ）では、計測対象物１１の奥行き情報のある領域８３、８５には奥行き情報が格納されている（図中の＊印は奥行き情報が格納されていることを示す）が、その他の領域には奥行き情報がなくＮＯＶＡＬＵＥ値が格納されている。例えば領域８７は、計測対象物６１のピントが合っていない部分なので、奥行き情報は得られずＮＯＶＡＬＵＥ値が格納されている。
【００６３】
また、全撮影データ２９の結合結果を結合データ３１配列Ｓ（ｘ、ｙ）に格納する。初期値として結合データ３１配列Ｓ（ｘ、ｙ）の全座標に、ＮＯＶＡＬＵＥ値を格納する。
【００６４】
（３−１．撮影データ２９の第１のデータ結合方法）
撮影データ２９の、第１のデータ結合方法のフローチャートを図８に示す。また、第１のデータ結合方法を図１２を用いて説明する。まず初期設定として、図１２（ｄ）の結合データ３１配列Ｓ（ｘ、ｙ）の全座標に、ＮＯＶＡＬＵＥ値を格納する。
【００６５】
結合処理部２７は、撮影処理管理部２１から取得した全撮影データ２９の配列Ｆ_１（ｘ、ｙ）〜Ｆ_ｎ（ｘ、ｙ）から、同一座標（ｘ、ｙ）の奥行き情報をｎ個抽出する（ステップ２０１）。
【００６６】
抽出したｎ個のデータから、奥行き情報が格納されている（即ちＮＯＶＡＬＵＥ値ではない）座標を抽出する。ここではｍ個（０≦ｍ≦ｎ）が抽出されたとする（ステップ２０２）。例えば図１２（ａ）、（ｂ）、（ｃ）において、同じ座標（ａ）の領域８５と、（ｂ）の領域９１には奥行き情報が格納されているが、（ｃ）では領域９９にあたり、ＮＯＶＡＬＵＥ値が格納されている。即ち図１２の例では、撮影データ２９のｎ＝３（個）のうち、（ａ）の領域８５にあたる座標では、奥行き情報の格納されているデータは、ｍ＝２（個）である。
【００６７】
次に結合処理部２７は、抽出したｍ個の奥行き情報を結合する。結合方法には、
（ａ）重み付け
（ｂ）最小二乗法
（ｃ）ロバスト推定法
等の方法を行い（ステップ２０３）、結合データ３１配列Ｓ（ｘ、ｙ）の座標（ｘ、ｙ）に結合した値を代入する（ステップ２０４）。
【００６８】
（ａ）重み付けは、奥行き情報Ｆ_１（ｘ、ｙ）〜Ｆ_ｎ（ｘ、ｙ）に、それぞれ適切な重みを付け、式（１）を用いて算出する。
【００６９】
【数１】

【００７０】
ただし、重みαは式（２）のとおりとする。
【００７１】
【数２】

【００７２】
（ｂ）最小二乗法は、測定値（撮影データ２９）とモデル関数から得られる理論値（結合データ３１）の差の２乗和が最小となるようなモデル関数のパラメータを決定する手法のことで、式（３）が最小となるようなＳ（ｘ，ｙ）の値を求める。
【００７３】
【数３】

【００７４】
最小二乗法は、撮影データ２９の誤差が正規分布を示す時、最尤推定法といえる。
【００７５】
（ｃ）ロバスト推定法は、例外値をある程度含むデータ群であっても、比較的安定に代表値を推定できる方法である。式（４）は、ロバスト推定法の１つである、Ｍ−ｅｓｔｉｍａｔｏｒの評価関数である。式（４）が最小値をとるよう、Ｓ（ｘ，ｙ）の値を求める。
【００７６】
【数４】

【００７７】
尚、式（４）のρ関数は、
ρ（ｔ）＝ｔ^２／（σ＋ｔ^２） ……（５）
と表される。ｔは代表値との誤差であり、ρ（ｔ）は、ｔ＝０で唯一最小値を持つ正規関数である。即ち、代表値から離れた値は、代表値算出には殆ど影響力がなくなる。
【００７８】
以上のように、１座標ずつ、複数の撮影データ２９の結合処理を行い結合データ３１を算出して配列Ｓ（ｘ、ｙ）の対応する座標に代入する。例えばｘ＝６４０、ｙ＝４８０ならば、６４０×４８０個の座標に同様の結合処理を行い（ステップ２０５のＮＯ、ステップ２０６）、結合処理を終了する。
【００７９】
図１２を用いて説明すると、レーザ光の焦点距離（即ち被写界深度の範囲）の異なる、それぞれの撮影データ２９配列Ｆ_１（ｘ、ｙ）、Ｆ_２（ｘ、ｙ）、Ｆ_３（ｘ、ｙ）について結合処理を行い、奥行き情報のある部分、即ち領域８５と領域９１、領域９５と領域１０１のデータについて、同じ座標（ｘ、ｙ）同士で結合処理を行う。
【００８０】
例えば図１２において（ａ）の領域８５にあたるｘ＝５００、ｙ＝３００の座標で、Ｆ_１（５００、３００）＝３２０、Ｆ_２（５００、３００）＝３１４、Ｆ_３（５００、３００）＝ＮＯＶＡＬＵＥとすると、奥行き情報のある撮影データ２９のみを抽出、即ちＦ_３（５００、３００）＝ＮＯＶＡＬＵＥは除外して、上記の何らかの結合方法を用い、結合データ３１配列Ｓ（５００、３００）を算出する。全ての座標について結合処理を行い、結合データ３１を作成する。計測対象物６１の、被写界深度の異なる複数の撮影データ２９を結合処理し、精度の高い３ＤＣＧデータとして結合データ３１配列Ｓ（ｘ、ｙ）を得る。
【００８１】
（３−２．撮影データ２９の第２のデータ結合方法）
撮影データ２９の、第２のデータ結合方法のフローチャートを図９に示す。また、第２のデータ結合方法を、図１２を用いて説明する。
【００８２】
第２のデータ結合方法では、まず撮影データ２９配列Ｆ_１（ｘ、ｙ）〜Ｆ_ｎ（ｘ、ｙ）を、焦点距離の近い順に並べ替える。即ち撮影データ２９配列Ｆ_１（ｘ、ｙ）のデータが、最も焦点距離の近い撮影データであり、最も撮影精度が高い撮影データである。第２の結合方法は、配列Ｆ_１（ｘ、ｙ）を最も優先順位を高く設定し、順にＦ_２（ｘ、ｙ）、Ｆ_３（ｘ、ｙ）・・と、焦点距離が長くなるほど優先順位を落として結合し、結合データ３１を作成する。
【００８３】
まず、結合データ３１配列Ｓ（ｘ、ｙ）を初期化する。即ち結合データ３１配列Ｓ（ｘ、ｙ）の全座標に、ＮＯＶＡＬＵＥ値を格納する（ステップ３０１）。全撮影回数をｎ回とし、ｉ＝１を設定する。
【００８４】
次に、結合処理部２７は、ｉ番目の撮影データ２９配列Ｆ_ｉ（ｘ、ｙ）を取得する（ステップ３０２）。ｉ＝１のとき、撮影データ２９配列Ｆ_１（ｘ、ｙ）を取得する。
【００８５】
次に、結合データ３１配列Ｓの座標（ｘ、ｙ）の値を、ＤａｔａＳに読み込み（ステップ３０３）、ＤａｔａＳに奥行き情報が格納されていなければ（ステップ３０４のＮＯ）、撮影データ２９配列Ｆ_ｉの座標（ｘ、ｙ）の値をＤａｔａＦに読み込む（ステップ３０５）。ＤａｔａＳに奥行き情報が格納されている場合、即ち結合データ３１配列Ｓ（ｘ、ｙ）にデータが格納されていれば（ステップ３０４のＹＥＳ）、ステップ３０８に進む。
【００８６】
ＤａｔａＦに奥行き情報があれば（ステップ３０６のＹＥＳ）、結合データ３１配列Ｓ（ｘ、ｙ）にＤａｔａＦを代入し（ステップ３０７）、ステップ３０８に進む。ＤａｔａＦに奥行き情報がない場合、即ち撮影データ２９配列Ｆ_ｉ（ｘ、ｙ）がＮＯＶＡＬＵＥ値であるとき（ステップ３０６のＮＯ）、ステップ３０８に進む。
【００８７】
ステップ３０８では、全座標（ｘ、ｙ）の、結合データ３１配列Ｓ（ｘ、ｙ）の格納値調査が終了していない場合（ステップ３０８のＮＯ）、結合データ３１配列Ｓ（ｘ、ｙ）の次の座標に移動して（ステップ３０９）、ステップ３０３に戻る。例えば、結合データ３１配列Ｓ（１００、１００）の次の座標Ｓ（１００、１０１）の格納値の調査に移る。
【００８８】
ステップ３０８で、全座標（ｘ、ｙ）の、結合データ３１配列Ｓ（ｘ、ｙ）の格納値調査が終了した場合で（ステップ３０８のＹＥＳ）、かつ最後の撮影データ２９配列Ｆ_ｎ（ｘ、ｙ）であった場合は（ステップ３１０のＹＥＳ）、結合処理は終了する。未処理の撮影データ２９がある場合は（ステップ３１０のＮＯ）、次の撮影データ２９配列Ｆ_ｉ＋１（ｘ、ｙ）へ移動し（ステップ３１１）、ステップ３０２に戻る。
【００８９】
図１２は、上記図９のフローチャートに従い、全撮影データ２９の配列Ｆ_１（ｘ、ｙ）〜Ｆ_３（ｘ、ｙ）を結合処理して結合データ３１配列Ｓ（ｘ、ｙ）を求める図である。撮影データ２９配列Ｆ_１（ｘ、ｙ）が、最も焦点距離が近い撮影データである。
【００９０】
撮影データ２９配列Ｆ_１（ｘ、ｙ）の奥行き情報のある領域８３と領域８５が、まず優先されて結合データ３１配列Ｓ（ｘ、ｙ）に格納される。
【００９１】
次に、撮影データ２９配列Ｆ_２（ｘ、ｙ）の奥行き情報のある領域９１、領域９３、領域９５のうち、対応する結合データ３１配列Ｓ（ｘ、ｙ）の座標に奥行き情報のない領域、即ち領域９３、領域９５の奥行き情報が結合データ３１配列Ｓ（ｘ、ｙ）に結合される。
【００９２】
次に、撮影データ２９配列Ｆ_３（ｘ、ｙ）の奥行き情報のある領域１０１、領域１０３のうち、対応する結合データ３１配列Ｓ（ｘ、ｙ）の座標に奥行き情報のない領域、即ち領域１０３の奥行き情報が結合データ３１配列Ｓ（ｘ、ｙ）に結合される。
【００９３】
このようにして、図９のフローチャートに従うと、焦点距離の近い撮影データ２９から順に優先されて、結合データ３１配列Ｓ（ｘ、ｙ）が作成される。従って、図１２（ｄ）の、結合データ３１配列Ｓ（ｘ、ｙ）は、図１２（ａ）、（ｂ）、（ｃ）の撮影データ２９配列の同じ座標に奥行き情報がある場合には、焦点距離のより近い撮影データ２９を選択し、結合データ３１配列Ｓ（ｘ、ｙ）の奥行き情報として格納する。
【００９４】
従って、焦点距離の近い撮影データ２９ほど撮影精度が高いので、誤差の影響を抑えながら、複数の撮影データ２９を高精度な１つの結合データ３１にまとめることができる。
【００９５】
（４．効果など）
撮影データ２９の結合方法は、上記説明した方法等から最適な方法を選択することができる。例えば、撮影データ２９の枚数が少ない場合には、第１の結合方法では（ａ）重み付けを行う方法等を選択し、逆に撮影データ２９が多い場合には統計的処理である（ｂ）最小二乗法や（ｃ）ロバスト推定法を選択してもよい。尚、撮影データ２９の結合方法は、上記説明した方法に限らない。
【００９６】
また、複数の結合方法で結合データ３１を作成し、表示装置７に計測対象物１１の３ＤＣＧ画像をそれぞれの結合方法の結果として表示し、作成された３次元形状を比較して、結合方法を検討してもよい。
【００９７】
また、レーザ光の焦点距離をずらす方法と、被写界深度を広く、或いは浅く変える方法を組み合わせて計測対象物１１を複数回撮影して結合データを作成し、３次元画像を得るようにしてもよい。
【００９８】
本実施の形態によれば、奥行きのある計測対象物１１に対し、レーザ光の焦点距離（被写界深度の範囲）を変えて複数回撮影し、撮影データの焦点の合っている領域を結合して１つの結合データを作成するので、高精度な３次元画像を効率的に制作できる。
【００９９】
また、本実施の形態によれば、奥行きのある計測対象物の結合データ作成処理を手動で行う工程を削除できるので、高精度な３次元画像の制作効率を上げ、制作コストを低減する効果がある。
【０１００】
尚、本発明の技術的範囲は、前述した実施の形態に限られるものではない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１０１】
【発明の効果】
以上、詳細に説明したように本発明によれば、奥行きのある対象物の３次元形状ＣＧデータを、効率的に制作できる撮影画像合成システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る撮影画像合成システム１の構成を示す図
【図２】制御部１５の構成を示す図
【図３】記憶部１３を示す図
【図４】３次元形状入力装置５の構成を示す図
【図５】被写界深度５７を示す図
【図６】被写界深度５７内外の違いによる撮影画像５９を示す図
【図７】撮影画像合成システム１のフローチャート
【図８】第１のデータ結合処理を示すフローチャート
【図９】第２のデータ結合処理を示すフローチャート
【図１０】３次元形状入力装置５による計測を示す図
【図１１】被写界深度を変えて撮影した画像を示す図
【図１２】被写界深度を変えて撮影した撮影データ、及び結合データを示す図
【符号の説明】
１・・・撮影誤差低減システム
３・・・形状結合処理装置
５・・・３次元形状入力装置
７・・・表示装置
９・・・入力装置
１１、５１、５３、５５、６１・・・計測対象物
１３・・・記憶部
１５・・・制御部
１７・・・レーザ照射装置
１９・・・画像撮影装置
２１・・・撮影処理管理部
２３・・・３次元形状入力装置管理部
２５・・・撮影データ処理部
２７・・・結合処理部
２８、５９・・・撮影画像
２９・・・撮影データ
３１・・・結合データ
３３・・・結合照射機
３５・・・円筒型レンズ
３７・・・ガルバノミラー
３９・・・色情報
４１・・・３ＤＣＧデータ
５７、６３、６５、６７・・・被写界深度
６９、７５、８１・・・被写界深度の合った領域
７１、７３、７７、７９・・・被写界深度外（焦点の合っていない）の領域
８３、８５、９１、９３、９５、１０１、１０３、１０５、１０７・・・奥行きデータ
８７、８９、９７、９９・・・ＮＯＶＡＬＵＥデータ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional shape measurement system that measures a three-dimensional shape of a real object in a non-contact manner.
[0002]
[Prior art]
In recent years, the performance of computer hardware has improved rapidly. In particular, graphics hardware and network information transfer speeds have made remarkable progress, and even general-purpose PCs are equipped with high-performance hardware, and high-speed communication is progressing. In addition, a technique has also been advanced in which three-dimensional information (shape and color) is converted into data from an entity using a three-dimensional input device and loaded into a computer.
[0003]
From the above, there is an increasing demand for services that deliver 3D computer graphics (hereinafter 3DCG) content via a network. In the conventional 3DCG production method (produced by a 3DCG production application), the production cost of 3DCG content is increased, and therefore, a three-dimensional shape input device that reduces the production cost has been introduced.
[0004]
For example, an optical cutting type three-dimensional shape input device using laser light is known. That is, in this method, a laser beam is slit and an object is scanned, and the reflected light is received by a CCD camera. The three-dimensional shape of the object is measured by detecting the direction and distance from the laser light emitting unit to the object based on the principle of triangulation (see Patent Document 1).
[0005]
In addition, there is a three-dimensional shape measurement apparatus that includes a plurality of irradiation units and irradiates an object from different directions to reduce the influence of aberrations and improve measurement accuracy (see Patent Document 2).
[0006]
[Patent Document 1]
JP 2000-131031 A [Patent Document 2]
Japanese Patent Laid-Open No. 2000-329531
[Problems to be solved by the invention]
However, in a three-dimensional shape input apparatus using laser light, the range in the depth direction (hereinafter referred to as depth of field) that can be photographed at one time is limited. For this reason, an object having a distance in the depth direction cannot be measured all at once.
[0008]
Conventionally, the object is measured a plurality of times while shifting the focal distance (the range of the depth of field), and the positional relationship of the measurement results is manually corrected and then combined (synthesized). For this reason, it is necessary to repeatedly perform shooting of an object and a combining process, which causes a high production cost of the three-dimensional shape CG data.
[0009]
The present invention has been made in view of such problems, and an object of the present invention is to provide a photographed image composition system that can efficiently produce three-dimensional shape CG data of a deep object. is there.
[0010]
[Means for Solving the Problems]
In order to achieve the above-described object, a first invention includes a shape input device that images a three-dimensional shape of an object, a reading unit that reads a plurality of image data captured by the shape input device, and the plurality of image data. And a storage means for storing the combined data, and the shape input device images the object a plurality of times while shifting the focal length, A photographic image composition system characterized by obtaining photographic data of an object.
[0011]
When the shape input device captures an object by shifting the focal distance, the depth of field, which is the distance range in the depth direction in focus, is also shifted, and the region of the object to be captured changes.
[0012]
The combined data creating means combines the plurality of pieces of photographing data using a weighting method, a least square method, a robust estimation method, or the like to create combined data. That is, a plurality of shooting data obtained by changing the depth of field is combined by an optimum method to obtain a highly accurate three-dimensional shape.
[0013]
In the weighting method, for example, a larger weight is given to photographing data with a short focal distance, and the photographing data is combined.
[0014]
The least square method is a method for determining a parameter that minimizes the sum of squares of the difference between the photographed data and the combined data, and is a maximum likelihood estimation method when the photographed data error shows a normal distribution.
[0015]
The robust estimation method is an estimation method that is difficult to be influenced by the exceptional value even if the photographing data includes the exceptional value to some extent.
[0016]
The combined data creation means preferentially combines the plurality of pieces of photographing data with photographing data having a shorter focal length. Since the measurement accuracy is higher as the focal length is shorter, this is a coupling method that preferentially couples photographing data with a shorter focal length.
[0017]
The shape input device is a light cutting type three-dimensional shape input device using laser light. The laser light emitted from the laser irradiator is slit with a cylindrical lens, and the direction is changed with a galvano mirror to irradiate an object. The object is scanned, the reflected light is captured by an image capturing device such as a CCD, and the three-dimensional shape of the object is measured by detecting the distance and direction from the laser emission unit to the object by the principle of triangulation. .
[0018]
The imaging data is data obtained by scanning laser light with a galvanometer mirror, measuring, for example, 640 points × 480 points in one scan, and measuring the depth information (distance information) of the object for each point. In the present embodiment, a plurality of pieces of imaging data of the measurement object are obtained by changing the focal length of the laser light from the same viewpoint.
[0019]
The combined data is highly accurate three-dimensional shape data of an object obtained by applying any of the above-described combined data creating means to a region where a plurality of obtained photographing data overlap.
[0020]
The photographed image composition system of the first invention reads a plurality of pieces of photographed data of a shape input device for photographing a three-dimensional shape of an object, and creates a combined data by combining the plurality of photographed data. The shape input device captures image data by capturing the object multiple times while changing the focal length of the laser beam from the same viewpoint. As the combined data creation means, there are a weighting method, a method using a least square method, a robust estimation method, a method of giving priority to photographing data having a low laser intensity, and the like.
[0021]
According to a second aspect of the present invention, there is provided a reading step of reading a plurality of shooting data obtained by a shape input device shooting a three-dimensional shape of an object, and a combined data generation step of combining the plurality of shooting data and generating combined data And a storing step for storing the combined data, wherein the shape input device images the object a plurality of times while shifting a focal length to obtain imaging data of the object. This is an image composition method.
[0022]
The photographed image composition method of the second invention is a method in which a shape input device captures a three-dimensional shape of an object, reads a plurality of photographed data, and combines the plurality of photographed data to create combined data. . The shape input device captures the target object multiple times by shifting the focal length of the laser light from the same viewpoint and capturing the target object a plurality of times.
[0023]
A third invention is a program for causing a computer to function as the photographed image composition system according to any one of claims 1 to 3.
[0024]
A program according to a third aspect of the invention causes the photographed image composition system according to claims 1 to 3 to function, and the program can be distributed via a network.
[0025]
A fourth invention is a recording medium on which a program for causing a computer to function as the photographed image composition system according to any one of claims 1 to 3 is recorded.
[0026]
A recording medium according to a fourth aspect of the invention stores a program that causes the photographed image composition system according to claims 1 to 3 to function. The recording medium can also be distributed, and the program can be distributed via a network. It can also be distributed.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a diagram showing a configuration of a captured image composition system 1 according to an embodiment of the present invention.
[0028]
(1. Configuration)
The captured image composition system 1 is a system that measures the three-dimensional shape of the measurement object 11 in a non-contact manner, and includes a shape combination processing device 3 and a three-dimensional shape input device 5.
[0029]
(1-1. Structure of Shape Joining Processing Device 3)
As shown in FIG. 1, the shape combination processing device 3 includes a control unit 15 such as a CPU (central processing unit), a storage unit 13 such as a hard disk, a display device 7 such as a display, and an input device such as a keyboard and a mouse. 9 etc.
[0030]
The operator inputs photographing parameters from the input device 9. The imaging parameters are the distance to the measurement object 11, the laser intensity used for imaging, the brightness at the time of imaging, and the like. Note that it is also possible to register several patterns of shooting parameters in the storage unit 13 and select them.
[0031]
The display device 7 is a device such as a CRT or a liquid crystal display, and displays imaging parameter setting items and measured three-dimensional computer graphics data (polygonal shape information and texture information).
[0032]
The storage unit 13 is a device such as a hard disk or a CD-ROM. FIG. 3 shows the contents of the storage unit 13. In the storage unit 13, shooting data 29 and color information 39 of the measurement object 11 measured by the three-dimensional shape input device 5 are registered. Also, the combined data 31 obtained by combining the shooting data 29 is registered. In addition, 3DCG data 41 created by adding color information 39 to the combined data 31 is registered.
[0033]
The control unit 15 sets shooting parameters input from the input device 9 in the three-dimensional shape input device 5 and manages shooting processing. Further, the depth information and the color information 39 of the measurement object 11 are read from the three-dimensional shape input device 5, processed and combined, and output to the display device 7. A detailed structure of the control unit 15 is shown in FIG.
[0034]
The control unit 15 is a CPU of a computer or the like, and is divided into a structure as shown in FIG. That is, the control unit 15 includes a three-dimensional shape input device management unit 23, a photographing data processing unit 25, a photographing processing management unit 21, and a combination processing unit 27 according to the function. With reference to FIG. 2, each function of the control unit 15 will be described along with the flow of processing.
[0035]
The imaging processing management unit 21 sends the imaging parameters input from the input device 9 (step 401) to the three-dimensional shape input device management unit 23, and further instructs the shape input device management unit 23 to execute imaging (step). 402).
[0036]
The three-dimensional shape input device management unit 23 sets the photographing parameters in the three-dimensional shape input device 5 and executes photographing processing (step 403). Further, the depth information (shooting data 29) and the color information 39 of the measurement object 11 are acquired from the three-dimensional shape input device 5 (step 404) and sent to the shooting data processing unit 25 (step 405).
[0037]
The imaging data processing unit 25 reads the depth information (imaging data 29) and the color information 39 of the measurement object 11 from the three-dimensional shape input device management unit 23, corrects and converts them, and sends them to the imaging processing management unit 21 (step). 406).
[0038]
The imaging processing management unit 21 reads the depth information (imaging data 29) and color information 39 of the measurement object 11 from the imaging data processing unit 25 and sends them to the combination processing unit 27 (step 407).
[0039]
The combination processing unit 27 reads depth information (shooting data 29) and color information 39 having different focal lengths (range of depth of field) from the shooting processing management unit 21 and combines them to obtain combined data 31 and 3DCG data 41. It is created and sent to the photographing process management unit 21 (step 408).
[0040]
The imaging process management unit 21 registers depth information (imaging data 29), color information 39, combined data 31, and 3DCG data 41 in the storage unit 13 (step 409). In addition, the imaging processing management unit 21 reads the 3DCG data 41 from the storage unit 13 (step 410) and causes the display device 7 to display it as a three-dimensional image (step 411).
[0041]
(1-2. Structure of 3D Shape Input Device 5)
The three-dimensional shape input device 5 employs a light cutting method using laser light, and includes a laser irradiation device 17 and an image photographing device 19. The laser irradiation device 17 irradiates the measurement target 11 with laser light based on the imaging parameters set by the three-dimensional shape input device management unit 23. FIG. 4 shows the configuration of the three-dimensional shape input device 5.
[0042]
The laser irradiation device 17 includes a laser irradiation machine 33, a cylindrical lens 35, and a galvano mirror 37. The laser light emitted from the laser irradiator 33 is formed into a slit shape by the cylindrical lens 35, and the direction is changed by the galvano mirror 37 to irradiate the measurement object 11. An image photographing device 19 such as a CCD receives the laser light reflected by the measurement object 11. Since the laser light has a higher luminance than the general illumination light, it is possible to read the laser irradiated portion in the input image.
[0043]
Depth information (distance information) of the measurement object 11 is obtained from the positional relationship between the laser irradiator 33 and the galvanometer mirror 37 and the angle and light reception data of the galvanometer mirror 37 using the triangulation method. By changing the angle of the galvanometer mirror 37 and scanning the measurement object 11 once, the image capturing device 19 acquires depth information of 640 points × 480 points, for example.
[0044]
Moreover, the color information 39 is acquired by collecting the color of the measurement object 11 when the laser is not irradiated, and the three-dimensional shape of the measurement object 11 is restored together with the depth information.
[0045]
Note that the three-dimensional shape input device 5 allows the measurement object 11 to be measured in one shooting if the measurement object 11 has a depth in the front-rear direction and the measurement object 11 does not fall within the range of the depth of field. It is not possible to obtain shooting data. In this case, the measurement object 11 is imaged several times while shifting the focal length of the laser light (that is, the range of depth of field) so that there is an overlapping region. Of the photographic data 29, data with a shorter focal length has higher measurement accuracy.
[0046]
FIG. 5 and FIG. 6 show an example of a captured image 59 of the measurement object due to a difference in position inside and outside the depth of field 57. FIG. 5 shows the measurement objects 51, 53, 55 arranged in the front-rear direction toward the three-dimensional shape input device 5. If the depth of field 57 of the laser irradiation device 17 is set to the depth shown in FIG. 5, only the measurement object 53 is in the in-focus distance range.
[0047]
A photographed image 59 photographed by the image photographing device 19 of the three-dimensional shape input device 5 is shown in FIG. That is, the measurement object 53 that is in focus (in the range of the depth of field 57) provides a clear image, but the measurement objects 51 and 55 are images that are out of focus. At this time, the measurement object 53 in focus can obtain depth information (distance information), but cannot obtain depth information of an image in an out-of-focus range (that is, outside the depth of field 57), and a NOVALUE value is obtained. enter.
[0048]
The image photographing device 19 sends the depth information and color information 39 of the measurement object 11 after photographing to the three-dimensional shape input device management unit 23.
[0049]
(2. Flow chart)
Next, FIG. 7 shows a flowchart of the captured image composition system 1 in the present embodiment. The figure which acquires the three-dimensional shape data of the measurement object 61 is shown in FIG. FIG. 11 shows a plurality of captured images 28 obtained by capturing the measurement object 61 by shifting the focal length (the range of the depth of field) of the laser light. FIG. 12 shows the shooting data 29 (a), (b), (c) and combined data 31 (d) of each image in FIG.
[0050]
In the flowchart of FIG. 7, first, as preparation for photographing the measurement object 61, the operator performs installation of the measurement object 61, adjustment of illumination, and the like. In addition, the control unit 15 sets the input imaging parameters (distance to the measurement target 61, laser intensity, luminance at the time of imaging, etc.) in the three-dimensional shape input device 5 (step 101).
[0051]
Next, the three-dimensional shape input device 5 changes the distance to the measurement object 61, that is, the focal length (the range of the depth of field) according to the imaging parameters set by the control unit 15, and the depth of field. The measurement object 61 is imaged a plurality of times from the same viewpoint so that there is an overlapping portion of the image data 29 to obtain image data 29 (depth information of the measurement object 61) (step 102).
[0052]
For example, as shown in FIG. 10, since the measurement object 61 has a distance in the front-rear direction, the focal length (the range of the depth of field) of the three-dimensional shape input device 5 is set to 3 of the depth of

field

63, 65, 67. Shoot in stages. The captured images 28 at respective depths of

field

63, 65, and 67 are shown in FIGS. 11 (a), 11 (b), and 11 (c).
[0053]
Areas of the measurement object 61 in the range of the depth of field (that is, the in-focus range) in FIG. 11 are shown as

areas

69, 75, and 81, respectively. The hatched

areas

71, 73, 77, and 79 indicate areas outside the depth of field, that is, out of focus.
[0054]
Further, the three-dimensional shape input device 5 collects the color information 39 of the measurement object 61 without irradiating the laser beam according to an instruction from the control unit 15, and sends it to the shape combination processing device 3 (control unit 15) together with the photographing data 29. .
[0055]
The three-dimensional shape input device management unit 23 of the shape combination processing device 3 sends the shooting data 29 and the color information 39 to the shooting data processing unit 25. The shooting data processing unit 25 converts the shooting data 29 into a grid (640 × 480) data array. That is, the captured image 28 (a) in FIG. 11 is captured in the captured data 29 (a) in FIG. 12, the captured image 28 (b) in FIG. 11 is captured in the captured data 29 (b) in FIG. c) is converted into the photographing data 29 (c) of FIG. In addition, * mark of FIG. 12 shows that there exists depth information in the arrangement | sequence.
[0056]
An area 69 of the photographed image 28 (a) in FIG. 11 is indicated by an area 83 and an area 85 of the photographed data 29 (a) in FIG. A hatched area 71 in the photographed image 28 (a) in FIG. 11 corresponds to the area 87 in the photographed data 29 (a) in FIG. 12, and is an area outside the depth of field (not in focus). No information is obtained, indicating that the initial value NOVALUE is entered. Similarly, the data of FIG. 12 photographic data 29 (b) and FIG. 12 photographic data 29 (c) are obtained for the photographic image 28 (b) and FIG. 11 photographic image 28 (c).
[0057]
Note that, as shown in FIG. 10, when the measurement object 61 is photographed while shifting the range of the depth of field, there are areas to be photographed in duplicate. In other words, the areas in which the shooting data are obtained in duplicate are the area 85 of the shooting data 29 (a) in FIG. 12, the area 91 of the shooting data 29 (b) in FIG. 12, the area 95 of the shooting data 29 (b) in FIG. This is the area 101 of the shooting data 29 (c).
[0058]
The photographing data processing unit 25 sends the photographing data 29 converted as described above to the photographing processing management unit 21. The imaging processing management unit 21 sends the imaging data 29 to the combination processing unit 27, and the combination processing unit 27 performs a combination process on the imaging data 29 and creates combined data 31 (step 103). Further, the combined data 31 and the color information 39 are converted into 3DCG data 41. The combination processing method will be described later.
[0059]
The imaging processing management unit 21 reads the created 3DCG data 41 from the combination processing unit 27 and registers it in the storage unit 13 (step 104). In the storage unit 13, shooting data 29, combined data 31, and color information 39 may be registered.
[0060]
(3. Data combination method of shooting data 29)
A data combination process of the shooting data 29 in the combination processing unit 27 will be described. Several means are conceivable as a combining method, and here, flowcharts of two types of data combining processes are shown in FIGS. However, the combination method used in the flowchart is not limited to the described method.
[0061]
The shooting data 29 is stored as a grid-like depth information group in a shooting data 29 array F _i (x, y), 1 ≦ i ≦ n (n: number of times of shooting). For example, assuming that the grid is a two-dimensional array with x = 640 and y = 480, depth information is stored for each coordinate of the array (640, 480).
[0062]
Note that a NOVALUE value is stored at coordinates without depth information. For example, in the shooting data 29F ₁ (x, y) of FIG. 12, depth information is stored in the

areas

83 and 85 with depth information of the measurement object 11 (marked with * in the figure is depth information). However, there is no depth information in other areas, and NOVALUE values are stored. For example, since the area 87 is a portion where the measurement target 61 is not in focus, depth information is not obtained and a NOVALUE value is stored.
[0063]
Further, the combined result of all the photographing data 29 is stored in the combined data 31 array S (x, y). The NOVALUE value is stored in all coordinates of the combined data 31 array S (x, y) as an initial value.
[0064]
(3-1. First Data Combining Method of Shooting Data 29)
FIG. 8 shows a flowchart of the first data combination method for the shooting data 29. The first data combination method will be described with reference to FIG. First, as an initial setting, NOVALUE values are stored in all coordinates of the combined data 31 array S (x, y) in FIG.
[0065]
The combination processing unit 27 obtains n pieces of depth information of the same coordinates (x, y) from the arrays F ₁ (x, y) to F _n (x, y) of all the shooting data 29 acquired from the shooting processing management unit 21. Extract (step 201).
[0066]
From the extracted n pieces of data, coordinates where depth information is stored (that is, not NOVALUE values) are extracted. Here, m (0 ≦ m ≦ n) are extracted (step 202). For example, in FIGS. 12A, 12 B, and 12 C, depth information is stored in the area 85 of the same coordinate (a) and the area 91 of (b), but in FIG. , NOVALUE values are stored. That is, in the example of FIG. 12, the data in which the depth information is stored is n = 2 (pieces) in the coordinates corresponding to the area 85 of (a) among n = 3 pieces (pieces) of the shooting data 29.
[0067]
Next, the combination processing unit 27 combines the extracted m pieces of depth information. Join method includes
(A) Weighting (b) Least square method (c) Robust estimation method or the like is performed (step 203), and the combined value is substituted into the coordinates (x, y) of the combined data 31 array S (x, y). (Step 204).
[0068]
(A) Weighting is calculated using Formula (1) by assigning appropriate weights to the depth information F ₁ (x, y) to F _n (x, y), respectively.
[0069]
[Expression 1]

[0070]
However, the weight α is as shown in Equation (2).
[0071]
[Expression 2]

[0072]
(B) The least square method is a method for determining a parameter of a model function that minimizes the sum of squares of a difference between a measured value (imaging data 29) and a theoretical value (coupled data 31) obtained from the model function. Thus, the value of S (x, y) that minimizes the expression (3) is obtained.
[0073]
[Equation 3]

[0074]
The least square method can be said to be a maximum likelihood estimation method when the error of the photographic data 29 shows a normal distribution.
[0075]
(C) The robust estimation method is a method in which a representative value can be estimated relatively stably even for a data group including an exceptional value to some extent. Equation (4) is an evaluation function of M-estimator, which is one of robust estimation methods. The value of S (x, y) is obtained so that Equation (4) takes the minimum value.
[0076]
[Expression 4]

[0077]
The ρ function in equation (4) is
ρ (t) = t ² / (σ + t ² ) (5)
It is expressed. t is an error from the representative value, and ρ (t) is a normal function having a minimum value only at t = 0. That is, a value far from the representative value has little influence on the calculation of the representative value.
[0078]
As described above, the combined data 31 is combined for each coordinate, the combined data 31 is calculated, and substituted into the corresponding coordinates of the array S (x, y). For example, if x = 640 and y = 480, a similar joining process is performed on 640 × 480 coordinates (NO in step 205, step 206), and the joining process is terminated.
[0079]
Referring to FIG. 12, the respective shooting data 29 arrays F ₁ (x, y), F ₂ (x, y), and F ₃ (F ₃ (x, y), F ₃ (x, y) and F ₃ (x, y) having different focal lengths (ie, depth of field ranges)) are used. x, y) is combined, and the data having the depth information, that is, the data of region 85 and region 91 and region 95 and region 101, is combined at the same coordinates (x, y).
[0080]
For example, in FIG. 12, the coordinates of x = 500 and y = 300 corresponding to the area 85 in FIG. 12A are F ₁ (500, 300) = 320, F ₂ (500, 300) = 314, F ₃ (500, 300) = Assuming NOVALUE, only the imaging data 29 with depth information is extracted, that is, F ₃ (500, 300) = NOVALUE is excluded, and the combined data 31 array S (500, 300) is calculated using any of the above-described combining methods. To do. A combination process is performed for all coordinates to generate combined data 31. A plurality of pieces of photographing data 29 having different depths of field of the measurement object 61 are combined to obtain a combined data 31 array S (x, y) as highly accurate 3DCG data.
[0081]
(3-2. Second Data Combining Method of Shooting Data 29)
FIG. 9 shows a flowchart of the second data combination method for the shooting data 29. The second data combination method will be described with reference to FIG.
[0082]
In the second data combination method, first, the imaging data 29 array F ₁ (x, y) to F _n (x, y) is rearranged in order of increasing focal length. That is, the data of the shooting data 29 array F ₁ (x, y) is the shooting data with the shortest focal length and the shooting data with the highest shooting accuracy. In the second combining method, the array F ₁ (x, y) is set with the highest priority, and F ₂ (x, y), F ₃ (x, y),... The combined data 31 is created by combining the ranks.
[0083]
First, the combined data 31 array S (x, y) is initialized. That is, the NOVALUE value is stored in all coordinates of the combined data 31 array S (x, y) (step 301). The total number of shootings is n, and i = 1 is set.
[0084]
Next, the combination processing unit 27 acquires the i-th imaging data 29 array F _i (x, y) (step 302). When i = 1, the imaging data 29 array F ₁ (x, y) is acquired.
[0085]
Next, the value of the coordinate (x, y) of the combined data 31 array S is read into DataS (step 303), and if the depth information is not stored in DataS (NO at step 304), the captured data 29 array F _i. The value of the coordinate (x, y) is read into DataF (step 305). If depth information is stored in DataS, that is, if data is stored in the combined data 31 array S (x, y) (YES in step 304), the process proceeds to step 308.
[0086]
If there is depth information in DataF (YES in step 306), DataF is substituted into the combined data 31 array S (x, y) (step 307), and the process proceeds to step 308. When there is no depth information in DataF, that is, when the imaging data 29 array F _i (x, y) is a NOVALUE value (NO in step 306), the process proceeds to step 308.
[0087]
In step 308, when the stored value search of the combined data 31 array S (x, y) for all coordinates (x, y) has not ended (NO in step 308), the combined data 31 array S (x, y) (Step 309), the process returns to step 303. For example, the process proceeds to the examination of the stored value of the next coordinate S (100, 101) of the combined data 31 array S (100, 100).
[0088]
In step 308, when the stored value search of the combined data 31 array S (x, y) for all coordinates (x, y) is completed (YES in step 308), and the last captured data 29 array F _n (x , Y) (YES in step 310), the combining process ends. If there is unprocessed shooting data 29 (NO in step 310), the process moves to the next shooting data 29 array F _{i + 1} (x, y) (step 311) and returns to step 302.
[0089]
FIG. 12 is a view for obtaining a combined data 31 array S (x, y) by combining the arrays F ₁ (x, y) to F ₃ (x, y) of all the imaged data 29 according to the flowchart of FIG. It is. The shooting data 29 array F ₁ (x, y) is the shooting data with the shortest focal length.
[0090]
The region 83 and the region 85 having depth information of the shooting data 29 array F ₁ (x, y) are first stored with priority in the combined data 31 array S (x, y).
[0091]
Next, out of the area 91, area 93, and area 95 with depth information of the shooting data 29 array F ₂ (x, y), the area without depth information at the coordinates of the corresponding combined data 31 array S (x, y) That is, the depth information of the region 93 and the region 95 is combined with the combined data 31 array S (x, y).
[0092]
Next, of the

areas

101 and 103 having the depth information of the captured data 29 array F ₃ (x, y), the areas having no depth information at the coordinates of the corresponding combined data 31 array S (x, y), that is, areas The depth information 103 is combined with the combined data 31 array S (x, y).
[0093]
In this way, according to the flowchart of FIG. 9, the combined data 31 array S (x, y) is created with priority given in order from the photographing data 29 having a shorter focal length. Therefore, the combined data 31 array S (x, y) in FIG. 12D has depth information at the same coordinates of the captured data 29 array in FIGS. 12A, 12B, and 12C. The photographing data 29 having a shorter focal length is selected and stored as the depth information of the combined data 31 array S (x, y).
[0094]
Accordingly, since the shooting data 29 with a shorter focal length has higher shooting accuracy, a plurality of shooting data 29 can be combined into one highly accurate combined data 31 while suppressing the influence of errors.
[0095]
(4. Effects, etc.)
As the method for combining the photographing data 29, an optimum method can be selected from the methods described above. For example, when the number of photographed data 29 is small, (a) a weighting method or the like is selected in the first combination method. Conversely, when the photographed data 29 is large, statistical processing is performed (b) minimum. A square method or (c) robust estimation method may be selected. Note that the method of combining the shooting data 29 is not limited to the method described above.
[0096]
Further, the combination data 31 is created by a plurality of joining methods, the 3DCG image of the measurement object 11 is displayed on the display device 7 as a result of each joining method, the created three-dimensional shapes are compared, and the joining method is determined. You may consider it.
[0097]
In addition, by combining the method of shifting the focal length of the laser light and the method of changing the depth of field to be wider or shallower, the measurement object 11 is photographed a plurality of times to create combined data to obtain a three-dimensional image. Also good.
[0098]
According to the present embodiment, the measurement object 11 having a depth is photographed a plurality of times while changing the focal length (the range of the depth of field) of the laser beam, and the in-focus areas of the photographing data are combined. Thus, one combined data is created, so that a highly accurate three-dimensional image can be produced efficiently.
[0099]
In addition, according to the present embodiment, it is possible to delete the step of manually performing the combined data creation processing of the measurement object having a depth, so that it is possible to increase the production efficiency of a highly accurate three-dimensional image and to reduce the production cost. is there.
[0100]
The technical scope of the present invention is not limited to the embodiment described above. It will be apparent to those skilled in the art that various changes or modifications can be conceived within the scope of the technical idea disclosed in the present application, and these are naturally within the technical scope of the present invention. Understood.
[0101]
【The invention's effect】
As described above in detail, according to the present invention, it is possible to provide a photographed image composition system that can efficiently produce the three-dimensional shape CG data of a deep object.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a captured image composition system 1 according to an embodiment of the present invention. FIG. 2 is a diagram showing a configuration of a control unit 15. FIG. 3 is a diagram showing a storage unit 13. FIG. FIG. 5 is a diagram illustrating a configuration of the shape input device 5. FIG. 5 is a diagram illustrating a depth of field 57. FIG. 6 is a diagram illustrating a captured image 59 depending on the inside and outside of the depth of field 57. Flowchart [FIG. 8] Flowchart showing first data combination processing [FIG. 9] Flowchart showing second data combination processing [FIG. 10] Diagram showing measurement by 3D shape input device 5 [FIG. 11] Depth of field Fig. 12 shows images taken with different depths. Fig. 12 shows shot data taken with different depths of field and combined data.
DESCRIPTION OF SYMBOLS 1 ... Shooting error reduction system 3 ... Shape combination processing apparatus 5 ... Three-dimensional shape input device 7 ... Display device 9 ...

Input device

11, 51, 53, 55, 61 ... Measurement Object 13 ... Storage unit 15 ... Control unit 17 ... Laser irradiation device 19 ... Imaging device 21 ... Imaging processing management unit 23 ... 3D shape input device management unit 25 ...・ Shooting data processing unit 27... Combined processing unit 28, 59 .. Shooting image 29 .. Shooting data 31... Bonding data 33. Galvano mirror 39 ... Color information 41 ...

3DCG data

57, 63, 65, 67 ... Depth of

field

69, 75, 81 ...

Areas

71, 73, 77 with matching depth of field 79 ... Outside depth of field (out of focus)

Area

83, 85, 91, 93, 95, 101, 103, 105, 107 ...

depth data

87, 89, 97, 99 ... NOVALUE data

Claims

A shape input device for photographing a three-dimensional shape of an object;
Reading means for reading a plurality of photographing data photographed by the shape input device;
Combined data creating means for combining the plurality of shooting data and creating combined data;
Storage means for storing the combined data;
Comprising
The shape input device captures the object a plurality of times by shifting a focal length, and obtains image data of the object.

The combined data creation means includes:
The photographed image composition system according to claim 1, wherein the plurality of photographed data are combined using a weighting method, a least square method, a robust estimation method, or the like to generate combined data.

The combined data creation means includes:
The photographed image composition system according to claim 1, wherein the plurality of photographed data is preferentially combined as the photographed data having a shorter focal distance.

A reading step of reading a plurality of shooting data obtained by a shape input device shooting a three-dimensional shape of an object;
A combined data creation step of combining the plurality of shooting data and creating combined data;
A storage step of storing the combined data;
Comprising
The shape input device captures the target object a plurality of times by shifting a focal length, and obtains captured data of the target object.

The combined data creation step includes:
5. The photographed image composition method according to claim 4, wherein the plurality of photographed data are combined by using a weighting method, a least square method, a robust estimation method, or the like to generate combined data.

The combined data creation step includes:
5. The photographed image composition method according to claim 4, wherein the plurality of photographed data is preferentially combined as the photographed data having a shorter focal distance.

The program for functioning a computer as a picked-up image composition system in any one of Claims 1-3.

A recording medium storing a program for causing a computer to function as the photographed image composition system according to any one of claims 1 to 3.