JP2005332177A - Three-dimensional information processor, three-dimensional information processing method, and three-dimensional information processing program - Google Patents

Three-dimensional information processor, three-dimensional information processing method, and three-dimensional information processing program Download PDF

Info

Publication number
JP2005332177A
JP2005332177A JP2004149512A JP2004149512A JP2005332177A JP 2005332177 A JP2005332177 A JP 2005332177A JP 2004149512 A JP2004149512 A JP 2004149512A JP 2004149512 A JP2004149512 A JP 2004149512A JP 2005332177 A JP2005332177 A JP 2005332177A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
orientation
point
still image
points
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004149512A
Other languages
Japanese (ja)
Inventor
Hitoshi Furuta
Daisuke Goami
Etsuji Kitagawa
Yoshitaka Minami
Yoshito Nishida
Kazuki Nonaka
Toshiyuki Sugimachi
Shigenori Tanaka
大祐 其阿彌
悦司 北川
佳孝 南
均 古田
敏之 杉町
成典 田中
義人 西田
一希 野中
Original Assignee
Fukui Computer Kk
Hitoshi Furuta
Kansai Informatics Institute Co
Etsuji Kitagawa
Toshiyuki Sugimachi
Shigenori Tanaka
悦司 北川
均 古田
敏之 杉町
株式会社関西総合情報研究所
成典 田中
福井コンピュータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To automate the setting work of corresponding orienting points in a paired stereo picture. <P>SOLUTION: An object being a three-dimensional model is photographed in a moving picture while changing a photographing position. The orienting point is automatically set on the object on a first frame with the photographed moving picture data. The automatic set is done by extracting a feature point on the object by edge detection, for example. The set orienting point is tracked on each frame constituting the moving picture data to set the orienting point on each frame. Now, two frames are selected as the paired stereo picture from the orienting point-set frames; conducting photogrammetric analysis. Finally, the three-dimensional model of the object is generated by using three-dimensional information obtained from a result of the photogrammetric analysis. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、3次元情報処理装置、3次元情報処理方法、及び3次元情報処理プログラムに関し、例えば、写真測量技術を用いて動画データから被写体の3次元モデルを生成するものに関する。 The present invention, 3-dimensional information processing apparatus, three-dimensional processing method, and a three-dimensional information processing program, for example, about what to generate a three dimensional model of an object from moving image data using photogrammetry techniques.

写真測量の理論は、古くから研究されており、その成果は土木の分野などで広く利用されている。 Theory of photogrammetry, has been studied for a long time, the results are widely used in the fields of civil engineering.
写真測量は、被写体を異なる角度から撮影した2枚のステレオペア画像から、被写体の3次元情報を算出する技術である。 Photogrammetry from two stereo pair images photographed from different angles of an object, a technique for calculating the three-dimensional information of the object.

以下、図14を用いて、写真測量の概要を説明する。 Hereinafter, with reference to FIG. 14, an overview of photogrammetry.
写真測量では、図14(a)に示したように、被写体100をカメラ102によって、異なる2方向から撮影する。 In photogrammetry, as shown in FIG. 14 (a), by the subject 100 camera 102 to photograph from two different directions.
これによって、図14(b)に示したような、被写体を左側から撮影した左画像と右側から撮影した右画像からなるステレオペア画像が得られる。 Thus, as shown in FIG. 14 (b), the stereo pair images is obtained consisting of right images taken from the left image and right obtained by photographing the subject from the left side.

このようにして得られたステレオペア画像を用いて、作業者は左右画像で対応する点(以下、標定点)を認定する。 Using stereo pair images obtained in this manner, the operator to certify that the corresponding left and right image (hereinafter, orientation points). 図では、左画像の標定点H1と右画像の標定点H1が対応すると認定し、以下同様に、他の標定点の対応関係を認定していく。 In the figure, finding that orientation points H1 of orientation points H1 and right images of the left image correspond, and so on to, we certify the correspondence between the other orientation points. なお、左画像の標定点H5と右画像の標定点H8は、被写体の死角となり対応する標定点がない。 Note that orientation point H8 of orientation points H5 and the right image of the left image, there is no orientation points corresponding become a blind spot of the subject.
次に、作業者は、左画像と右画像に平面座標系を設定し、左右画像で対応する標定点の、左画像での座標値と右画像での座標値を計測していく。 Next, the operator sets the plane coordinate system into the left and right images, the corresponding orientation point in the left and right images, will measure the coordinate values ​​in the coordinate values ​​and the right image in the left image.

そして、これら計測値に写真測量理論(内部標定、相互標定、絶対標定などからなる)を適用することにより、これら標定点の3次元座標値を計算することができる。 Then, photogrammetry theory these measured values ​​by applying an (internal orientation, relative orientation, absolute orientation and the like), it is possible to calculate the three-dimensional coordinate values ​​of the orientation point.
また、対応する標定点のなかった標定点H5や標定点H8も、写っている画像での2次元座標値に写真測量の結果得られたパラメータを適用して3次元座標値を算出することができる。 Moreover, the corresponding orientation never been orientation point H5 or orientation points of point H8 also be calculated three-dimensional coordinates by applying the resulting parameters of photogrammetry in a two-dimensional coordinate values ​​in are photographed image it can.
これら算出された3次元座標値を用いて、図14(c)に示したような、被写体100の3次元モデル100aを生成することができる。 Using these calculated three-dimensional coordinate values, as shown in FIG. 14 (c), it is possible to generate a three-dimensional model 100a of the object 100.

ところで、写真測量を行うには、高度な熟練技能が必要であるが、近年普及のめざましいデジタルカメラを用いて、被写体のデジタル画像を撮影し、これをコンピュータで情報処理することにより、被写体の3次元モデルを生成する技術も開発されている。 However, to do photogrammetry, it is necessary to highly skilled skills with remarkable digital camera in recent years widespread, by capturing a digital image of the object, to the information processing it on the computer, the object 3 technology to generate the dimensional model has also been developed. この技術は、次の特許文献に記述されている。 This technique is described in the following patent documents.

特開2002−31527号公報 JP 2002-31527 JP

この技術では、熟練技能者と同程度の結果を得ることができるアルゴリズムがプログラム化されており、熟練技能を持たない一般のユーザでも高い精度で容易に写真測量を行うことができる。 In this technique, and algorithms that can obtain results comparable to the skilled workers is programmed, it is possible to easily photogrammetry in high in general user having no expert skilled precision.

上記の技術では、ほとんどの処理は自動化されたが、左右画像の対応する標定点を認定する作業は依然ユーザが手作業で行っていた。 In the above technique, although most of the treated automated, the task of certification of the corresponding orientation points of the right and left images were still done the user manually.
つまり、左画像の標定点と右画像の標定点を対応付ける作業は、ユーザがコンピュータに1つずつ入力する必要があった。 In other words, work associating the orientation points of orientation points and the right image of the left image, it is necessary for the user to enter one into the computer.
また、標定点の数が少ない場合は手入力を行うことも可能であるが、例えば、複雑な形状の被写体の3次元モデルを生成する場合や、街の風景を撮影して街の3次元モデルをコンピュータグラフィック化する場合のように、多くの標定点を設定する場合は、手入力が困難であった。 Although when the number of the orientation points is small it is also possible to perform manual input, for example, complex shapes when generating a three-dimensional model and the subject, the city of the three-dimensional model by photographing a city landscape the as in the case of computer graphic of, when setting the number of orientation points, manual input is difficult.

そこで、本発明の目的は、対応する標定点の設定作業を自動化することである。 An object of the present invention is to automate the setting operation of the corresponding orientation point.

本発明は、前記目的を達成するために、請求項1に記載の発明では、撮影位置を変化させながら被写体を撮影した動画データを取得する動画データ取得手段と、前記取得した動画データから、前記被写体に標定点が設定された第1の静止画像を取得する第1の静止画像取得手段と、前記設定された標定点の移動を前記動画データを用いて追跡することにより、前記設定された標定点に対応する標定点を有する第2の静止画像を取得する対応画像取得手段と、前記第1の静止画像上での標定点の2次元座標値と、前記第2の静止画像上での標定点の2次元座標値から、前記被写体上の標定点の3次元座標値を算出する3次元座標値算出手段と、を具備したことを特徴とする3次元情報処理装置を提供する。 The present invention, in order to achieve the object, in the invention according to claim 1, the moving picture data acquisition means for acquiring moving image data obtained by photographing a subject while changing the shooting position, the moving picture data the acquired, the by tracking using a first still image obtaining means for obtaining a first still image orientation point is set to an object, the moving image data of movement of the set orientation point, the set target a corresponding image acquiring means for acquiring the second still image with orientation points corresponding to fixed point, the two-dimensional coordinate values ​​of the orientation points on the first still image, mark on the second still image the two-dimensional coordinates of a fixed point, providing a three-dimensional information processing apparatus characterized by comprising; and 3-dimensional coordinate value calculating means for calculating three-dimensional coordinates of the orientation points on the object.
請求項2に記載の発明では、動画データから静止画像を取得し、前記静止画像で前記被写体上に標定点を設定する標定点設定手段を具備し、前記第1の静止画像取得手段は、前記標定点を設定した静止画像か、又は、前記動画データを用いて前記静止画像から標定点が追跡された静止画像を第1の静止画像として取得することを特徴とする請求項1に記載の3次元情報処理装置を提供する。 In the invention according to claim 2, acquires a still image from the moving image data, comprising the orientation point setting means for setting the orientation point on said still images a subject, the first still image obtaining means, wherein or a still image to set the orientation points, or 3 according to claim 1, characterized in that to obtain the still image orientation point is tracked from the still image using the moving image data as a first still image providing dimensional information processing apparatus.
請求項3に記載の発明では、前記第1の静止画像、又は第2の静止画像の標定点のうち、少なくとも2点の平面位置の実測値、および少なくとも3点の高さの実測値が既知である基準点の指定を受け付ける基準点受付手段と、前記受け付けた基準点の実測値の入力を受け付ける実測値入力手段と、を具備し、前記3次元座標値算出手段は、前記基準点の実測値を用いて実寸大の3次元座標値を算出することを特徴とする請求項1、又は請求項2に記載の3次元情報処理装置を提供する。 In the invention described in claim 3, wherein the first still image, or of the orientation point of the second still image, found the plane position of the at least two points, and the measured values ​​of at least three points height known comprising a reference point accepting means for accepting designation of a reference point is a measured value input unit for accepting an input of measured values ​​of the accepted reference point, and the 3-dimensional coordinate value calculating means, measured in the reference point providing a three-dimensional information processing apparatus according to claim 1 or claim 2, characterized in that to calculate the 3D coordinates of the actual size by using the values.
請求項4に記載の発明では、被写体に設定された標定点を追跡することにより前記動画データから対応する標定点を有する2つの静止画像を取得する静止画像取得手段と、前記取得した2つの静止画像から当該標定点を用いて算出される当該被写体の3次元座標値の精度評価する評価手段と、を具備し、前記第1の静止画像取得手段と前記対応画像取得手段は、前記評価手段で所定の精度を有すると評価された静止画像を取得することを特徴とする請求項1、請求項2、又は請求項3に記載の3次元情報処理装置を提供する。 The invention according to claim 4, the still image acquisition means for acquiring two still images with orientation points corresponding from the moving image data by tracking orientation points set in the object, the two were the acquired still comprising an evaluation means for accuracy evaluation of the three-dimensional coordinate value of the subject is calculated by using the orientation points from the image, and the said first still image acquiring means corresponding image obtaining means, in the evaluation unit claim 1, characterized in that to obtain the still image was evaluated as having a predetermined accuracy, providing a three dimensional information processing apparatus according to claim 2, or claim 3.
請求項5に記載の発明では、前記第2の静止画像が有する少なくとも3つの標定点と重複するように、前記第2の静止画像で新たに標定点を設定する標定点再設定手段を具備し、前記対応画像取得手段は、前記再設定した標定点の移動を前記動画データで追跡することにより、前記再設定した標定点を有する第3の静止画像と第4の静止画像を取得し、前記3次元座標値算出手段は、前記第3の静止画像上での標定点の2次元座標値と、前記第4の静止画像上での標定点の2次元座標値から、前記被写体上の標定点の3次元座標値を算出し、前記第1の静止画像と前記第2の静止画像から算出された3次元座標軸と、前記第3の静止画像と前記第4の静止画像から算出された3次元座標軸と、が一致するように、前記重複して発生させた標定 In the invention described in claim 5, so as to overlap with at least three orientation points for the second still image it has, includes the orientation point resetting means for setting a new orientation point in the second still image the corresponding image acquiring means, said by tracking the movement of the resetting the orientation point in the moving image data to obtain a third still image and fourth still image having an orientation point which is the reconfiguration, the 3-dimensional coordinate value calculating means, said third and two-dimensional coordinate values ​​of the orientation points on the still image, from the 2-dimensional coordinate values ​​of the orientation points on the fourth still image, orientation points on the object calculating three-dimensional coordinates of a three-dimensional coordinate axes calculated from said first still image and the second still image, 3-dimensional calculated from the third still image and the fourth still image as the coordinate axes, matches, orientation which is generated by the overlapping の座標値を用いて座標変換を行う座標変換手段を具備したことを特徴とする請求項1から請求項4までのうちの何れか1の請求項に記載の3次元情報処理装置を提供する。 Providing a three-dimensional information processing apparatus according to any one of claims of claims 1, characterized by comprising a coordinate transforming means for performing coordinate conversion to claim 4 with reference to the coordinate values.
請求項6に記載の発明では、動画データ取得手段と、第1の静止画像取得手段と、対応画像取得手段と、3次元座標値算出手段と、を備えたコンピュータにおいて、前記動画データ取得手段によって、撮影位置を変化させながら被写体を撮影した動画データを取得する動画データ取得ステップと、前記第1の静止画像取得手段によって、前記取得した動画データから、前記被写体に標定点が設定された第1の静止画像を取得する第1の静止画像取得ステップと、前記対応画像取得手段によって、前記設定された標定点の移動を前記動画データを用いて追跡することにより、前記設定された標定点に対応する標定点を有する第2の静止画像を取得する対応画像取得ステップと、前記3次元座標値算出手段によって、前記第1の静止画像上での標 The invention according to claim 6, the moving picture data acquisition means, a first still image obtaining means, a corresponding image acquiring means, in a computer equipped with a 3-dimensional coordinate value calculating means, by the moving picture data acquisition means , and video data acquisition step of acquiring moving image data obtained by photographing a subject while changing the shooting position, by the first still image obtaining means, from the moving image data the acquired first of orientation point on the object is set a first still image acquisition step of acquiring a still image, by the corresponding image obtaining means, by the movement of the set orientation points be followed using the moving image data, corresponding to the set orientation points mark of the corresponding image acquisition step, by the three-dimensional coordinate value calculating means, on said first still image to obtain a second still image with orientation points for 点の2次元座標値と、前記第2の静止画像上での標定点の2次元座標値から、前記被写体上の標定点の3次元座標値を算出する3次元座標値算出ステップと、から構成されたことを特徴とする3次元情報処理方法を提供する。 And 2-dimensional coordinate values ​​of the point, composed of two-dimensional coordinates of the orientation points on the second still image, from the 3-dimensional coordinate value calculating step of calculating three-dimensional coordinates of the orientation points on the object that is to provide a three-dimensional information processing method according to claim.
請求項7に記載の発明では、撮影位置を変化させながら被写体を撮影した動画データを取得する動画データ取得機能と、前記取得した動画データから、前記被写体に標定点が設定された第1の静止画像を取得する第1の静止画像取得機能と、前記設定された標定点の移動を前記動画データを用いて追跡することにより、前記設定された標定点に対応する標定点を有する第2の静止画像を取得する対応画像取得機能と、前記第1の静止画像上での標定点の2次元座標値と、前記第2の静止画像上での標定点の2次元座標値から、前記被写体上の標定点の3次元座標値を算出する3次元座標値算出機能と、をコンピュータで実現する3次元情報処理プログラムを提供する。 The invention according to claim 7, the moving picture data acquisition function of acquiring moving image data obtained by photographing a subject while changing the shooting position, the moving picture data the acquired first stationary for orientation point on the object is set the first still image obtaining function for obtaining an image by the movement of the set orientation points for tracking by using the moving image data, a second stationary with orientation points corresponding to the set orientation points the corresponding image acquisition function of acquiring an image, and the two-dimensional coordinate values ​​of the orientation points on the first still image, from the 2-dimensional coordinate values ​​of the orientation points on the second still image, on the object providing three dimensional information processing program for realizing a three-dimensional coordinate value calculating function of calculating the 3D coordinates of the orientation points, at the computer.

本発明によると、被写体を撮影した動画から自動的に3次元モデルを生成することができる。 According to the present invention, it is possible to automatically generate a three-dimensional model from videos photographing an object.

(実施の形態の概要) (Overview of the Embodiment)
3次元モデルの対象となる被写体を撮影位置を変化させながら動画撮影する。 The subject to subject of the three-dimensional model by changing the imaging position while that movie shooting.
このようにして撮影された動画データにおいて、標定点追跡の始点となるフレームで被写体上に標定点を自動設定する。 In this manner, video data captured by, for automatically setting the orientation points on the subject in the frame as a starting point of orientation point tracking. この自動設定は、例えば、エッジ検出などで被写体上の特徴点を抽出するなどして行う。 This automatic setting is performed, for example, such as by extracting feature points on the subject in such edge detection.
設定した標定点を動画データを構成する各フレームで追跡し、各フレーム上での標定点を設定していく。 The set orientation point tracked in each frame constituting the moving image data, should set the orientation points on each frame.
そして、これら標定点が設定されたフレームから2つのフレームをステレオペア画像として選択し、写真測量解析を行う。 Then, select the two frames from the frame in which these orientation point are set as a stereo pair images, perform photogrammetry analysis. 更に、写真測量解析の結果得られた3次元情報を用いて被写体の3次元モデルを生成する。 Furthermore, to generate a three-dimensional model of an object using three-dimensional information obtained as a result of the photogrammetric analysis.

以下、図1を用いて、本実施の形態によって3次元モデルを生成する手順の概要を説明する。 Hereinafter, with reference to FIG. 1, an outline of the procedure for generating a 3-dimensional model according to the present embodiment.
図1(a)は、ビデオカメラ3を用いて被写体2を撮影する方法を説明するための図である。 1 (a) is a diagram for explaining a method of photographing an object 2 by using a video camera 3.
ビデオカメラ3は、被写体を動画撮影する装置である。 Video camera 3 is a device for moving image shooting of a subject. 本実施の形態では、ビデオカメラ3として市販のデジタルビデオカメラを用いた。 In this embodiment, using a commercially available digital video camera as a video camera 3.

デジタルビデオカメラは、CCD(Charge Coupled Device)素子を配列した受光面を備えており、この受光面に被写体を投影して、映像をデジタルデータに変換する。 Digital video camera has a light receiving surface which is arranged a CCD (Charge Coupled Device) element, by projecting an object on the light receiving surface, and converts the image into digital data. そして、投影画像の経時変化を動画データとして磁気テープや光磁気ディスクなどの記憶媒体に記録する。 Then, the recording in a storage medium such as a magnetic tape or a magneto-optical disk changes with time of the projected image as moving image data.

なお、ビデオカメラ3としてアナログ式のものを用いたり、ビデオカメラ3の代わりに8ミリカメラなどのフィルム媒体に映像を記録するものを用いることも可能である。 Incidentally, or used as the analog as a video camera 3, it is also possible to use to record an image on a film medium, such as 8mm camera instead of a video camera 3. この場合は、後ほど撮影された映像をデジタルデータに変換すれば良い。 In this case, it is sufficient to convert the later captured image into digital data.

被写体2は、3次元モデルの生成対象物であり、何らかの立体構造を有する物体である。 Object 2 is a product object of the three-dimensional model, which is an object having some conformation. 被写体2は、3次元モデルの生成目的(測量、コンピュータグラフィックスの作成)により多岐に渡る。 Object 2 is diverse by generating object of a three-dimensional model (survey, creation of computer graphics).
ユーザは、以上のように構成されたビデオカメラ3を用いて、図1(a)に示したように、被写体2の周囲を移動しながら被写体2を撮影する。 The user uses the video camera 3 having the configuration described above, as shown in FIG. 1 (a), photographing an object 2 while moving around the object 2.

次に、3次元情報処理装置(構成は後述)が、このようにして撮影された動画データを読み込み、以下のようにして被写体の3次元モデルを生成する。 Next, three-dimensional information processing apparatus (structure below) is thus to read the moving picture data shot by, as follows to generate a three-dimensional model of the object.
動画データは、被写体2を方向を変化させながら撮影した一連のフレーム(静止画像)から構成されており、3次元情報処理装置は、この中からフレームAを選択する。 Video data is composed of a series of frames captured while changing the direction of the subject 2 (still images), three-dimensional information processing apparatus selects a frame A from this. フレームAとしては、例えば、動画データを構成する最初のフレームを採用することができる。 The frame A, for example, can be adopted the first frame making up a moving picture data.

そして、3次元情報処理装置は、エッジ検出などの画像処理を用いてフレームAから被写体2を抽出し、例えば、被写体2の角や嶺など、特徴を有する特徴点(H1〜H7)を抽出し、これを標定点として設定(登録)する。 Then, three-dimensional information processing apparatus, the object 2 is extracted from the frame A by using the image processing such as edge detection, for example, such as the corners or ridges subject 2, and extracts feature points (H1 to H7) having the characteristics , set (registered) this as an orientation point.
3次元情報処理装置は、フレームAに隣接するフレームでこれら標定点を追跡し、更にこの追跡を隣接するフレームで繰り返すことにより、フレームBでの標定点を特定する。 3D information processing apparatus, tracks these orientation points in a frame adjacent to the frame A, further by repeating in adjacent frames of the track, to identify the orientation points for the frame B.
フレームAからフレームBまでの各フレームでは、標定点が追跡により対応付けて設定されているため、3次元情報処理装置は、フレームAからフレームBまでのうちから2枚のフレームをステレオペア画像として選択する。 In each frame from frame A to frame B, since the orientation point is set in association with tracking, 3-dimensional information processing apparatus, a stereo pair image two frames from among the frames A to frame B select.
そして、3次元情報処理装置は、この2枚のステレオペア画像(例えば、フレームAとフレームB)に写っている標定点を用いて写真測量処理を行う。 Then, three-dimensional information processing apparatus performs the photogrammetry process using the orientation points that is reflected in the two stereo pair images (e.g., frames A and B).
この処理により、各標定点の3次元座標値が算出され、3次元情報処理装置は、これらの座標値を用いて被写体2の3次元モデル5aを生成する。 This process, 3-dimensional coordinate value of each orientation point are calculated, 3-dimensional information processing apparatus generates a three-dimensional model 5a of the object 2 using these coordinate values.

3次元情報処理装置は、更に標定点の追跡を続け、フレームCにて標定点を特定する。 3D information processing apparatus may further keep track of the orientation points, to identify the orientation point at frame C. そして、同様にフレームBとフレームCなどをステレオペア画像として採用し、3次元モデル5bを生成する。 Then, similarly employs a frame B and the frame C or the like as a stereo pair image to generate a 3-dimensional model 5b.
3次元情報処理装置は、以上の処理を繰り返して複数の3次元モデルを生成した後、これらを連結して3次元モデル6を生成する。 3D information processing apparatus, after generating a plurality of three-dimensional model by repeating the above processing, to generate a three-dimensional model 6 by connecting them. 連結は、3次元モデル中に共通の標定点が少なくとも3点(実用的には4点)あれば行うことができる。 Coupling may be common orientation point in the three-dimensional model is performed if at least three points (practically 4 points).
これによって、ビデオカメラ3が撮影した範囲を網羅する3次元モデルを生成することができる。 Thereby, it is possible to generate a three-dimensional model that encompasses the range of the video camera 3 is taken.

(実施の形態の詳細) (Details of the Embodiment)
図2は、3次元情報処理装置1の機能的構成を示したブロック図である。 Figure 2 is a block diagram showing a functional configuration of a three-dimensional information processing apparatus 1.
3次元情報処理装置1は、例えば、パーソナルコンピュータで3次元情報処理プログラムを実行することにより実現することができる。 3D information processing apparatus 1, for example, can be realized by executing the three-dimensional information processing program in a personal computer.

3次元情報処理装置1は、動画データを取得する動画データ取得部61、動画データから写真測量に必要な標定点情報を取得する動画データ処理部62、標定点情報を保持する標定点情報保持部66、保持された標定点情報を用いて写真測量解析を行い3次元モデルを生成する3次元モデル生成部67、生成された複数の3次元モデルを連結する3次元モデル連結部68などから構成されている。 3D information processing device 1, the moving picture data acquisition unit 61, moving picture data processing unit 62 for acquiring orientation point information necessary for photogrammetric from moving image data to acquire video data, orientation point information storage unit storing orientation points information 66, is composed of such three-dimensional model connecting portion 68 for connecting the plurality of three-dimensional model 3-dimensional model generating unit 67 to generate a three-dimensional model, generated perform photogrammetry analyzed using orientation points information held ing.
以下、これらの構成要素の機能について説明する。 Hereinafter, a description will be given of the function of these components.

動画データ取得部61は、動画データ取得手段を構成し、例えば、ビデオカメラから動画データの転送を受けたり、磁気テープ、光磁気ディスク、ハードディスクなどの記憶媒体に記憶された動画データを読み取ったり、あるいはインターネットなどのネットワークを介して送信されてきた動画データを受信するなどして動画データを取得する。 Moving picture data acquisition unit 61 constitute a moving picture data acquisition means, for example, and receive the transfer of video data from the video camera, and read a magnetic tape, a magneto-optical disk, the moving image data stored in a storage medium such as a hard disk, or acquires moving image data by, for example, receives video data transmitted via a network such as the Internet.
動画データは、フレームと呼ばれる静止画像を時系列的に取得できるように構成されており、隣接する静止画像を参照することにより、刻々と変化する被写体の動きを捕らえることができる。 Video data is composed of still images called frames to allow time series acquired by referring to the still image adjacent, can capture the motion of an object which changes from moment to moment.

動画データ処理部62は、動画データ取得部61から動画データを受け取り、これからフレームを取得して時系列に沿って配列する。 Moving picture data processing unit 62 receives the video data from the video data acquisition unit 61, arranged in chronological obtains therefrom frame.
そして、標定点設定部63、基準点指定部64、標定点追跡部65の各機能部を用いて、フレームに対し、標定点の設定、標定点の追跡、ステレオペア画像として組にするフレームの選択、ステレオペア画像からの標定点情報の取得などの処理を行う。 The orientation point setting unit 63, the reference point specifying unit 64, using the functions of the orientation point tracking section 65, relative to the frame, the orientation point setting, the orientation point tracking, the frame to be set as a stereo pair images select, performs processing such as acquisition of orientation points information from the stereo pair images.

標定点設定部63は、標定点追跡の起点となる起点フレームで被写体に標定点を設定する。 Orientation point setting unit 63 sets the orientation point on the subject at the origin frame as the starting point of orientation point tracking. また、追跡の過程で、標定点が被写体の陰になり順次消失するが、消失が30%程度に達した段階で再度標定点を発生させる。 Further, in the process of tracking, orientation point is successively disappears become the shadow of the object, loss is generated again orientation points at the stage reached about 30%.
なお、写真測量では、一般に左右画像で被写体が60%以上重なって写っていることが必要とされているが、本実施の形態では、余裕を持って重複が70%を下回った時点で再度標定点を発生させる。 In the photogrammetry, generally it is necessary to subject the left and right image is captured overlaps more than 60%, in the present embodiment, again when the overlap with the margin falls below 70% target to generate a fixed point.
標定点設定部63は、動画データから静止画像(フレーム)を取得し、静止画像上で被写体に標定点を設定する標定点設定手段を構成してる。 Orientation point setting unit 63 obtains the still image (frame) from the video data constitutes a locating point setting means for setting the orientation point on the subject on the still image.

ここで、図3を用いて標定点設定部63が標定点を設定する手順について説明する。 Here, orientation point setting unit 63 will be described how to configure orientation point with reference to FIG.
標定点設定部63は、図3(a)に示したように、フレーム上で被写体10をエッジ検出する。 Orientation point setting unit 63, as shown in FIG. 3 (a), edge detection subject 10 on the frame.
そして、被写体10を背景から抽出するために、ラベリング処理による画像抽出を行う。 Then, in order to extract the object 10 from the background and performs image extraction by labeling process. ラベリング処理とは、画像の画素の色情報を元に画素のグループ化を行うものである。 The labeling processing, and performs grouping of pixels based on the color information of the pixels of the image.

標定点設定部63は、抽出した被写体10の外側に、各辺と被写体10との最短距離(画素数を単位とすることができる)がAとなるように矩形領域11を設定する(図3(b))。 Orientation point setting unit 63, on the outside of the extracted object 10, the shortest distance between the sides and the object 10 (which may be units of the number of pixels) is to set the rectangular region 11 so that the A (FIG. 3 (b)). Aはユーザが指定可能な距離であり、被写体の大きさなどから適当な値を選択する。 A is the distance that can be specified by the user, to select the appropriate values ​​from the size, etc. of the subject. 矩形領域11に含まれる部分が標定点設定、及び追跡の対象となる。 Part orientation point settings included in the rectangular region 11, and the tracked.
ここで矩形領域11に距離Aの余裕を持たせたのは、背景画像によるエッジの乱れを考慮したものであり、被写体が必ず矩形領域11に含まれるようにするためである。 Here was a margin of distance A in the rectangular area 11 is obtained by taking into account the disturbance of the edge due to the background image, it is so that the object is always included in the rectangular region 11.

標定点設定部63は、矩形領域11を設定した後、図3(c)に示したように1辺の長さがtとなるメッシュを矩形領域11内に発生させる。 Orientation point setting unit 63, after setting the rectangular region 11 to generate a mesh length of one side is t, as shown in FIG. 3 (c) in the rectangular region 11. tは、ユーザが設定可能な長さであり、被写体の大きさや、測量精度などから適当な値を選択する。 t is the user are possible length settings, and the object size, selecting appropriate values ​​from the surveying precision. メッシュは、標定点を他のフレームに渡って追跡するのに用いる。 Mesh is used to track across the orientation points in other frames.
また、メッシュが矩形領域11をはみ出る場合は、何れを優先しても良いが、ここでは、メッシュを優先することにする。 Further, if the mesh protrudes a rectangular region 11, both may also be prioritized, but here, to prioritize mesh.

標定点設定部63は、メッシュを発生させた後、画像処理にて被写体の特徴点(角部や嶺部など)を検出し、これを標定点に設定する。 Orientation point setting unit 63, after generating the mesh, detect a characteristic point of an object (such as a corner or ridges) in the image processing, setting this to orientation point.
図3(d)は、被写体10の特徴点に標定点H1〜H7が設定されたところを示している。 FIG. 3 (d) shows the place where orientation point H1~H7 is set to the feature point of the object 10. なお、メッシュは図示していない。 It should be noted that the mesh is not shown.
そして、標定点設定部63は、各特徴点に位置するメッシュの濃淡情報を追跡用のテンプレート(後述)として登録する。 The orientation point setting unit 63 registers as a template (described later) for tracking the shading information of a mesh located in each of the feature points.

基準点指定部64(図2)は、ユーザからの基準点指定を受け付ける機能部である。 Reference point specifying unit 64 (FIG. 2) is a functional unit that receives a reference point specified by the user.
写真測量では、3次元モデルの縮尺を決定するために、被写体上に、少なくとも垂直方向の座標値が2つ、水平方向の座標値が3つ既知である点を指定する必要がある。 In photogrammetry, in order to determine the scale of the three-dimensional model, onto the object, at least two vertical coordinate values, it is necessary to specify the point coordinates in the horizontal direction is three known. そのため、3次元座標値がわかっている3点を基準点として指定すれば良いが、実用的には4点指定する。 Therefore, it may be specified as a reference point the three points of known three-dimensional coordinates, but practical to specify 4 points.
基準点を用いずとも写真測量は可能であるが、標定点のみで基準点を用いない場合は、被写体と相似な3次元モデルが得られる。 Although without using a reference point photogrammetry is possible, if not using a reference point only orientation points, the three-dimensional models similar to the subject is obtained.

基準点指定部64は、標定点設定部63が設定した標定点と共に被写体10をディスプレイなどに表示し、ユーザに基準点として使用する標定点を選択させる。 Reference point specifying unit 64, a subject 10 is displayed on a display with orientation points for orientation point setting unit 63 has set, to select the orientation points to be used as a reference point to the user.
図3(d)では、標定点H1、H2、H4、H5が基準点として指定されており、それぞれの標定点は、基準点K1、K2、K4、K5を兼ねている。 In FIG. 3 (d), the orientation points H1, H2, H4, H5 are designated as the reference point, each orientation point also serves as a reference point K1, K2, K4, K5. このように、基準点は、このように標定点に設定しても良いし、あるいは、標定点以外の点を指定しても良い。 Thus, the reference point may be set in this way the orientation points, or may specify a point other than the orientation point.
基準点指定部64は、ユーザに基準点を指定させると共に、その実空間での座標値を入力させる。 Reference point specifying unit 64, causes the specified reference point the user to enter the coordinates in the real space.

例えば、被写体10が1辺200ミリの直方体であった場合、H1からH2方向にx軸、H1からH4方向にy軸、H1からH5方向に−z軸と想定し、それぞれの座標値をK1(0、0、0)、K2(200、0、0)、K4(0、200、0)、K5(0、0、−200)などと入力する。 For example, when the subject 10 is a rectangular one side 200 millimeter, x-axis from the H1 is direction H2, y-axis from the H1 is H4 direction, assuming -z axis H1 through the H5 direction, the respective coordinate values ​​K1 (0,0,0), K2 (200,0,0), K4 (0,200,0), K5 (0,0, -200) to input and the like.
以上は一例であって、基準点と座標軸の選択は、設定しやすいものを選択することができる。 Above is an example, selection of a reference point and coordinate axes may be chosen which easily set.

このように、基準点指定部64は、少なくとも2点の平面位置の実測値、および少なくとも3点の高さの実測値が既知である基準点の指定を受け付ける基準点受付手段と、これら受け付けた基準点の実測値の入力を受け付ける実測値入力手段を備えている。 Thus, the reference point specifying unit 64, the measured values ​​of the plane position of the at least two points, a reference point accepting means for accepting designation of a reference point and the measured value of the height of the at least three points are known, and these accepted and a measured value input unit for accepting an input of measured values ​​of the reference point.
そして、基準点は、ステレオペア画像の左右画像(第1の静止画像、第2の静止画像)まで追跡され、このため、第1の静止画像又は第2の静止画像での基準点の指定を受け付けている。 Then, the reference point, the left and right image (the first still image, a second still image) of the stereo pair images are tracked up, Therefore, the designation of a reference point in the first still image or the second still image It is accepted.

標定点追跡部65(図2)は、動画データから写真測量解析に必要な情報を抽出する機能部であり、(1)標定点・基準点の追跡、(2)ステレオペア画像の選択、(3)標定点・基準点の再設定、(4)標定点情報の抽出、などを行う機能を有している。 Orientation point tracking unit 65 (FIG. 2) is a functional unit for extracting information necessary for photogrammetric analysis from the moving image data, (1) tracking the orientation points, reference points, the selection of (2) stereo pair images, ( 3) resetting the orientation points, reference points, and has a function of performing such extraction, and (4) orientation point information.
以下、これらの機能について説明する。 The following describes these functions.

(1)標定点・基準点の追跡 標定点追跡部65は、標定点設定部63と基準点指定部64によって設定された標定点と基準点を、起点フレームに隣接する複数のフレームに渡って追跡する。 (1) Tracking orientation point tracking section 65 of the orientation points, reference points, the set orientation point and the reference point by orientation points setting unit 63 and the reference point specifying unit 64, over a plurality of frames adjacent to the origin frame Chase.
動画データを用いて、フレーム上の点の移動を追跡する技術は、各種実用化されており、例えば、メッシュの濃淡情報のテンプレートを用いたマッチングを用いる方法やオプティカルフローに代表される画素のベクトル情報から追跡を行う方法などがある。 Using the moving image data, a technique for tracking the movement of a point on the frame is practically used, for example, vectors of the pixel represented by methods and optical flow using a matching using a template shading information of the mesh and a method to track the information.
何れの技術を用いても良いが、本実施の形態では、濃淡情報のテンプレートを用いて標定点・基準点の追跡を行うことにする。 May be used either technology, in the present embodiment, it will be to track the orientation points, reference points by using a template shading information.

図4は、標定点を濃淡情報のテンプレートを用いて追跡する方法を説明するための図である。 Figure 4 is a diagram for explaining a method of tracking orientation point using the template of shading information.
図に示したように、標定点設定部63によって、起点フレームで設定した標定点の周囲のメッシュの濃淡情報から追跡用のテンプレートが作成される。 As shown, the orientation point setting unit 63, a template for tracking is generated from the shading information of the surrounding mesh orientation points set in the origin frame.
このテンプレートでは、標定点とその周囲のメッシュの濃淡分布が記録されており、標定点追跡部65は、このテンプレートを起点フレームに隣接する次のフレームのメッシュでマッチングする。 In this template, orientation points and shade distribution of the surrounding mesh and is recorded, orientation point tracking section 65 matching mesh next frame adjacent the template as a starting point the frame.

隣接するフレームでは、被写体の移動量は小さいため、追跡元の標定点が存在したメッシュの近辺に、テンプレートと同様の濃淡分布を有する領域が存在すると考えられる。 The adjacent frames, since the movement amount of the object is small, in the vicinity of the mesh orientation points tracking source is present, is believed that there is a region having the same shading distribution and templates.
このようにして、隣接するフレームでテンプレートをマッチングすることにより、このフレーム上での標定点の写っているメッシュを特定することができる。 In this manner, by matching the template with adjacent frames, it is possible to identify the mesh that is reflected of orientation points on the frame.
標定点追跡部65は、このようにして、隣接するフレームで標定点の位置を特定し、更にこの処理を更に隣接するフレームに繰り返し適用することにより、起点フレームで設定された標定点を複数のフレームに渡って追跡することができる。 Orientation point tracking unit 65, in this way, to locate the orientation points in adjacent frames, further by repeatedly applying this process further to the adjacent frame, the orientation point set at the origin frame multiple it can be tracked over a frame.

なお、1つのメッシュの中に複数の異なる濃淡の画素が存在する場合は、これらを平均した値をこのメッシュの濃淡とすることができる。 When a plurality of different shades of the pixels in one mesh is present it can be those of the average value as the shading of the mesh.
また、濃淡情報の他に色情報やその他の情報を用いて追跡用のテンプレートを構成することもできる。 It is also possible to configure the template for tracked using other color information and other information shading information.
このように標定点追跡部65は、標定点を追跡する追跡手段を備えている。 The orientation point tracking section 65, as is provided with tracking means for tracking the orientation point.

(2)ステレオペア画像の選択 各フレームに渡って、標定点・基準点が追跡されているため、任意の2つのフレームを選択してステレオペア画像として組み合わせても、両フレーム上の標定点・基準点を対応させることができる。 (2) over the selected frames of the stereopair images, since the orientation points, the reference points are tracked, they are combined as a stereo-pair images by selecting any two frames, - orientation points on both frames the reference point may correspond.
そのため、動画データからステレオペア画像を構成するためのフレーム2枚を任意に選択することができる。 Therefore, it is possible to arbitrarily select the two frames for forming a stereo pair images from the moving image data.

標定点追跡部65が、ステレオペア画像として組にするフレームを選択する基準は、各種のものが考えられるが、ここでは、一例として縦視差を用いてフレームの組から算出される3次元情報の精度を評価し、精度の高くなるフレームの組をステレオペア画像として選択する。 Orientation point tracking unit 65, criteria for selecting the frame to set as a stereo pair images, various things are considered, where the three-dimensional information calculated from the frame set using a vertical parallax as an example evaluate the accuracy, selects a set of high composed frame accuracy as a stereo pair images.
より詳細には、写真測量の理論によると、ステレオペア画像において、各標定点は縦視差という値を持つ。 More specifically, according to the theory of photogrammetry, in the stereo pair images, each orientation point has a value of vertical parallax. そこで縦視差の精度評価のための適当な値αを設定し、各標定点の縦視差の平均値がα未満となるフレームを選択することにする。 So setting the appropriate value for the quality assessment of vertical parallax alpha, the average value of the vertical parallax of each orientation point is to select a frame to be less than alpha.
αは、標定点追跡部65で予め設定しておいても良いし、またユーザが設定できるように構成しても良い。 α may be set in advance by the orientation point tracking section 65, or may be configured to be set by the user.

なお、この選択方法は一例であって、この他に、縦視差がα以上となる標定点がある設定値Nを越えない場合に選択するように構成したり、あるいは、標定点の消失割合が測量精度を低下させない程度であるフレームを選択するなど、他の評価基準を用いてフレームを選択するように構成することができる。 Note that this selection process is one example, In addition, or configured to vertical parallax selected when not exceeding the set value N which is orientation points to be more alpha, or disappearance ratio of orientation points are including selecting a level that does not degrade the survey accuracy frame may be configured to select the frame with the other criteria.

図5を用いてフレームの選択方法の一例を説明する。 Illustrating an example of a method of selecting a frame with reference to FIG.
この例では、i番目のフレームを起点として、β+1枚の連続するフレームから2枚のフレームを選択する場合について説明する。 In this example, starting from the i-th frame, the case of selecting two frames from beta + 1 sheets of successive frames.
i番目のフレームは、標定点追跡の起点となるフレームであり、このフレームで標定点が設定(又は再設定)され、更に追跡用のテンプレートが作成される。 i-th frame is a frame serving as a starting point for orientation point tracking, orientation points in the frame is set (or reset), it is created more templates for tracking.
βは、ユーザが設定できる値で、被写体や動画の撮影状況に応じて設定することができる。 β may be a value that can be set by the user is set according to the shooting conditions of the object and videos.

図5(a)に示したように、標定点追跡部65は、まず、i+1番目フレームで標定点を追跡する。 As shown in FIG. 5 (a), orientation point tracking unit 65, first, to keep track of orientation points in the (i + 1) th frame.
そして、i+1番目のフレームとi番目のフレームでの縦視差を計算し、αと比較する。 Then, to calculate the vertical parallax in the (i + 1) th frame and the i-th frame is compared with alpha.
縦視差がα未満の場合は、i+1番目のフレームとi番目のフレームをステレオペア画像として選択する。 Vertical disparity If there is less than alpha, selects (i + 1) -th frame and the i-th frame as a stereo pair images.

縦視差がα以上であった場合、標定点追跡部65は、図5(b)に示したように、更にi+2番目のフレームでi+1番目のフレーム上の標定点を追跡する。 If the vertical parallax is greater than or equal to alpha, orientation point tracking section 65, as shown in FIG. 5 (b), to track the orientation points on the i + 1 th frame in addition (i + 2) th frame.
そして、i+2番目のフレームとi+1番目のフレームでの縦視差を計算し、αと比較する。 Then, to calculate the vertical parallax at (i + 2) th frame and the (i + 1) th frame is compared with alpha.
縦視差がα未満の場合は、i+1番目のフレームとi番目のフレームをステレオペア画像として選択する。 Vertical disparity If there is less than alpha, selects (i + 1) -th frame and the i-th frame as a stereo pair images.

縦視差がα以上であった場合、標定点追跡部65は、更に、i+2番目のフレームとi番目のフレームで縦視差を判定する。 If the vertical parallax is greater than or equal to alpha, orientation point tracking unit 65 further determines the vertical parallax (i + 2) th frame and the i-th frame.
縦視差がα未満であった場合、標定点追跡部65は、i+2番目のフレームとi場面のフレームをステレオペア画像として選択する。 If the vertical parallax is less than alpha, orientation point tracking section 65 selects the (i + 2) th frame and i scene frame as a stereo pair images.

標定点追跡部65は、同様の処理を繰り返し、図5(c)に示したように、i+k番目のフレームで標定点を追跡し、i+k−1番目のフレーム、i+k−2番目のフレーム、…と縦視差がα未満となる組み合わせを探索する。 Orientation point tracking unit 65 repeats the same processing, as shown in FIG. 5 (c), to track the orientation point at i + k-th frame, i + k-1 th frame, i + k-2 th frame, ... and vertical parallax searching for a combination of less than alpha.
標定点追跡部65は、この処理を縦視差がα未満となるフレームの組み合わせが見つかるか、又はkがβに達するまでステレオペア画像の組み合わせを探索する。 Orientation point tracking unit 65, it finds a combination of a frame of this process vertical parallax is less than alpha, or k is searched a combination of the stereo pair images to reach beta.

i番目のフレームからi+β番目のフレームでステレオペア画像の組み合わせを得た場合、又はkがβに達した場合、標定点設定部63がi+β番目のフレームで再度メッシュを発生させて標定点を設定する。 If the i-th frame to obtain a combination of the stereo pair images by i + beta-th frame, or if k has reached the beta, set the orientation point orientation point setting unit 63 by generating again mesh with i + beta-th frame to. そして、標定点追跡部65は、このフレームを新たなi番目のフレームとおき、次のβ枚のフレームに対して同様に選択を試みる。 The orientation point tracking unit 65, the frame put the new i-th frame, tries to similarly selected for the next β frames. 動画データ処理部62は、この動作を動画データの終わりまで繰り返し、複数組のステレオペア画像を選択する。 Moving picture data processing unit 62 repeats this operation until the end of the moving image data, to select a plurality of sets of stereo pair images.
以上の処理は、後ほど図12のフローチャートを用いて説明する。 The above processing will be described later with reference to the flowchart of FIG.

このように、標定点追跡部65は、動画データから、被写体に標定点が設定された第1の静止画像(上の例ではフレーム番号が小さい方のフレーム)を取得する第1の静止画像取得手段と、これら標定点の移動を動画データを用いて追跡することにより、第1の静止画像で設定された標定点に対応する標定点を有する第2の静止画像(上の例ではフレームが大きい方のフレーム)を取得する対応画像取得手段を備えている。 Thus, orientation point tracking unit 65, the moving image data, the first still image acquisition to acquire (frame towards the frame number is small in the above example) the first still image orientation point on the subject is set means, by tracking using video data of moving these orientation points, frame is large in the second still image (top example with orientation points corresponding to the first orientation points set in the still image and a corresponding image acquiring means for acquiring a square frame).

また、標定点追跡部65は、被写体に設定された標定点を追跡することにより動画データから対応する標定点を有する2つの静止画像を取得する静止画像取得手段と、これら2つの静止画像から当該標定点を用いて算出される当該被写体の3次元座標値の精度評価する評価手段と、備え、評価手段で所定の精度を有すると評価された静止画像をステレオペア画像として取得している。 Also, orientation point tracking unit 65, a still image obtaining means for obtaining two still images with orientation points corresponding the moving image data by tracking orientation points set in the subject, the these two still images and evaluating means for accuracy evaluation of the three-dimensional coordinates of the object calculated using the orientation points, provided, has obtained a still image were evaluated as having a predetermined accuracy in the evaluation unit as a stereo pair images.

(3)標定点・基準点の再設定 本実施の形態では、撮影位置を変えながら被写体をビデオ撮影するため、フレームが進むにつれて標定点が被写体の陰になり、徐々に消失してくる。 (3) resetting the orientation points, a reference point in this embodiment, since the video photographing an object while changing a photographing position, orientation points as frame progresses is in the shadow of the object, comes gradually disappeared. また、被写体の陰になって隠れていた特徴点が新たに現れる。 Further, the feature point that was hiding hidden behind the object appears newly.
そのため、標定点追跡部65は、標定点の追跡を行うと共に標定点の消失割合を監視し、標定点が30%消失したフレームで、標定点設定部63に再び標定点の再設定を行わせる。 Therefore, orientation point tracking section 65 monitors the disappearance ratio of orientation points performs tracking of orientation points, in frame orientation point is lost 30%, thereby again performed to reset the orientation point on the orientation point setting unit 63 . また、必要がある場合は、ユーザに基準点の再設定を行わせる。 Also, if there is a need to perform the re-setting of the reference point to the user.

この場合、標定点設定部63は、標定点追跡部65から指定されたフレームで、被写体を矩形領域で囲った後、再度メッシュを発生させる。 In this case, orientation point setting unit 63, a frame designated by the orientation point tracking section 65, after surrounding the object in the rectangular area, to generate the mesh again. そして、被写体上に標定点を設定し、追跡用のテンプレートを生成する。 Then, set the orientation point on the object, to generate a template for tracking.
このように標定点の再設定を行う場合、標定点設定部63は、前段階で追跡されている標定点を少なくとも3点(実用的には4点)含むように標定点を設定する。 When performing reconfiguration of such a orientation point, orientation points setting unit 63 (in practice four points) the orientation points being tracked in the previous step at least three points to set the orientation points to include. このように、標定点設定部63は、標定点再設定手段を構成している。 Thus, orientation point setting unit 63 constitute a resetting means orientation point.

そして、標定点追跡部65は、標定点を再設定したフレームにおいて、前段階で追跡されていた標定点のうち少なくとも3点(実用的には4点)を新たな基準点として指定する。 The orientation point tracking section 65 specifies the orientation point in the re-set frame, at least three points of the orientation points that were tracked in the previous stage (practically 4 points) as a new reference point.
前段階で追跡されている標定点の座標値は、前段階での基準点により算出されるため、これら標定点を基準点とすることができる。 Coordinates of orientation points being tracked in the previous stage, because it is calculated by the reference point in the previous step, it is possible to make these orientation points as a reference point.

なお、標定点の消失以外に、標定点を再設定する場合もある。 In addition to the loss of orientation points, in some cases to reconfigure the orientation point. 以下、これらの例について説明する。 The following describes these examples.
このような場合として、例えば、フレームが進むにつれて、新たな被写体が現れた場合がある。 As such a case, for example, as frame progresses, there is a case where a new object has appeared.

図6(a)に示したように、被写体15に矩形領域15aを設定し、標定点を追跡していたところ、他の被写体16が出現したとする。 As shown in FIG. 6 (a), to set the rectangular region 15a to the object 15, where that was tracking orientation point, the other object 16 has emerged.
この場合、動画データ処理部62は、被写体16を抽出する。 In this case, video data processing unit 62 extracts the object 16. そして、被写体15と同様に、被写体16の周囲に矩形領域16aを設定し(図6(b))、メッシュを発生させる。 Then, as in the subject 15, and sets a rectangular region 16a around the object 16 (FIG. 6 (b)), to generate a mesh. そして、被写体16上に標定点を設定し、これを追跡する。 Then, set the orientation point on the object 16, to track this. 被写体16の写真測量処理には、被写体15の基準点を利用することができる。 The photogrammetric processing object 16, it is possible to use the reference point of the object 15.
また、被写体15の標定点を用いて、被写体16に基準点を設定することもできる。 Further, by using the orientation points of the object 15, it is also possible to set a reference point on the subject 16.

更に、標定点を再設定する場合として、追跡の過程で重要な標定点を見失う場合がある。 Furthermore, as when re-setting the orientation point and may lose sight of the important orientation points in the process of tracking.
例えば、図7(a)に示したように、被写体20で、領域22、23にあった標定点が追跡過程で消失したとする。 For example, as shown in FIG. 7 (a), in the subject 20, the orientation points that were in regions 22 and 23 is lost in tracking process.
この場合、動画データ処理部62は、図7(b)に示したように、被写体20の周囲に矩形領域20aを発生させる。 In this case, video data processing unit 62, as shown in FIG. 7 (b), to generate the rectangular area 20a around the object 20. そして、矩形領域20a内にメッシュを発生させて標定点を再設定する。 Then, to reconfigure the orientation points by generating a mesh in a rectangular region 20a. これによって、消失した標定点を再度設定することができる。 Thereby, it is possible to set the lost orientation point again.

(4)標定点情報の抽出 標定点追跡部65は、動画データから選択したフレームをステレオペア画像とし、標定点情報を抽出する。 (4) extracting orientation point tracking section 65 of the orientation point information, a frame selected from the moving image data and stereo pair images, to extract the orientation point information.
この処理は、左画像として選択したフレームと右画像として選択したフレームで、対応する標定点の座標値を計測していくことにより行われる。 This process is performed by the frame selected as the frame and the right image selected as the left image, continue to measure the coordinates of the corresponding orientation point.
標定点の座標値を計測する座標系は、フレーム上で設定された2次元座標系であり、例えば、フレームの左下を原点として、水平方向にx軸、鉛直方向にy軸を設定することができる。 Coordinate system to measure the coordinates of the orientation point is a two-dimensional coordinate system set on the frame, for example, as the origin at the lower left of the frame, to set the y-axis in the horizontal direction x-axis, the vertical direction it can.
計測単位は、画素数(ピクセル数)を用い、ビデオカメラの受光部の画素サイズを用いて、後ほどミリ単位に変換する。 Units of measurement, using the number of pixels (number of pixels), using the pixel size of the light receiving portion of the video camera, later converted into millimeters. これは、受光面の縦横寸法と画素の縦横数がわかれば可能である。 This is possible if you know the number of vertical and horizontal vertical and horizontal dimensions and pixels of the light receiving surface.

図8は、標定点追跡部65が抽出した標定点情報の一例を示した表である。 Figure 8 is a table orientation point tracking section 65 shows an example of the extracted orientation point information.
図8では、i番目のフレームをF(i)などと表している。 In Figure 8, the i-th frame is represented as including F (i). 図8に示したように、標定点情報は、ステレオペア画像ごとに取得される。 As shown in FIG. 8, orientation point information is obtained for each stereo pair images.
例えば、ステレオペア番号1で特定されるステレオペア画像は、左画像としてF(20)が選択され、右画像としてF(56)が選択されている。 For example, a stereo pair images identified by the stereo pair number 1, F (20) is selected as the left image, F (56) is selected as the right image.

そして、標定点H1の左画像での座標値は(282、333)であり、右画像での座標値は(526、623)となっている。 Then, the coordinate values ​​of the left image orientation point H1 is a (282,333), the coordinate values ​​of the right image it has a (526,623). 以下、同様に標定点H303まで、左画像での座標値と右画像での座標値が計測されている。 Hereinafter, similarly to the orientation point H303, coordinate values ​​in the coordinate values ​​and the right image in the left image is measured.
ただし、F(56)では、標定点H4とH303が消失している。 However, the F (56), orientation point H4 and H303 has disappeared. また、標定点H2は、基準点K2として設定されている。 Also, orientation point H2 is set as a reference point K2.

ステレオペア番号2で特定されるステレオペア画像では、左画像としてF(105)が選択され、右画像としてF(132)が選択されている。 The stereo pair images identified by the stereo pair number 2, F (105) is selected as the left image, F (132) is selected as the right image.
そして、標定点H1〜H303の座標値が計測されている。 Then, the coordinate values ​​of the orientation point H1~H303 is measured. なお、消失した標定点の座標値は、空欄となっている。 The coordinate values ​​of the lost orientation point are blank.
以下、同様にステレオペア画像番号3、4、…で特定されるステレオペア画像に対して、標定点の座標値が計測される。 Hereinafter, similarly stereo pair image number 3 and 4, with respect to the stereo pair images specified by ..., the coordinate values ​​of the orientation point is measured.
標定情報としては、これら左右画像での標定点の座標値の他に、標定点を再設定した場合に、再設定前後で重複している標定点がわかるようになっており、再設定前後での空間的接続関係がわかるようになっている。 The orientation information, in addition to the coordinate values ​​of the orientation points on the left and right images, the orientation point when re-set, being adapted to orientation points that overlap before and after reconfiguration seen, reset before and after It has to understand spatial connection relationship is.

図2に戻り、動画データ処理部62は、以上のように各ステレオペア画像で計測した計測値を標定点情報として標定点情報保持部66に出力する。 Returning to Figure 2, the video data processing unit 62, a measurement value measured by each stereo pair images as above is output to the orientation point information holding section 66 as the orientation point information. 標定点情報保持部66は、これを記憶して保持する。 Orientation point information holding unit 66 stores and holds this.
これにより、標定点情報保持部66には、複数のステレオペア画像に関する標定点情報が蓄積される。 Thus, the orientation point information holding section 66, orientation points information on a plurality of stereo pairs images is stored.

3次元モデル生成部67は、標定点情報保持部66に記憶されている標定点情報を用いて、各ステレオペア画像ごとに写真測量解析を行い、各ステレオペア画像ごとに3次元モデルを生成する。 3D model generation unit 67 uses the orientation point information stored in the orientation point information holding unit 66 performs photogrammetric analysis for each stereo pair image to generate a 3-dimensional model for each stereo pair images .
ここで、図9のフローチャートを用いて写真測量処理の手順を説明する。 Here, the procedure of the photogrammetry process using a flowchart of FIG. この処理は、ステレオペア画像ごとに行うものである。 This processing is performed for each stereo pair images.

3次元モデル生成部67は、動画データ処理部62で生成された複数のステレオペア画像のうち、1つを選択し、そのステレオペア画像の標定点情報を標定点情報保持部66から取得する(ステレオペア画像305)。 3D model generation unit 67, among the plurality of stereo pairs images generated by the moving picture data processing unit 62, selects one obtains the orientation points information of the stereo pair images from orientation point information holding section 66 ( stereo pair images 305).
次に、3次元モデル生成部67は、取得した標定点情報を内部標定する(ステップ310)。 Next, the three-dimensional model generation unit 67 internal orientation the acquired orientation point information (step 310).
内部標定とは、被写体がビデオカメラの受光面に投影される際の歪を修正したりなどして、後の内部標定で使用する座標値に変換する処理である。 The interior orientation is a process in which the subject is converted into the coordinate values ​​to be used in and the like or modify the distortion when projected on the light receiving surface of the video camera, interior orientation after. ピクセル単位からミリ単位への変換も内部標定で行われる。 Conversion from pixels to millimeters are also performed inside orientation.

3次元モデル生成部67は、標定点の座標値を内部評定した後、これを相互評定する(ステップ315)。 3D model generation unit 67, the coordinate values ​​of the orientation points after internal rating, which is mutual orientation (step 315).
相互標定とは、ステレオペア画像間の相対的な傾きや位置の関係を求める作業である。 The relative orientation is a work to determine the relative tilt or positional relationships between the stereo pair images. 相互標定により被写体と相似な3次元モデルを得ることができる。 The relative orientation can be obtained three-dimensional models similar to the subject.

次に、3次元モデル生成部67は、相互標定の結果を用いて絶対標定を行う(ステップ320)。 Next, the three-dimensional model generation unit 67 performs absolute orientation using the result of the mutual orientation (step 320).
絶対標定とは、ステレオペア画像中の基準点を用いて相互標定で求めた被写体と相似な立体モデルの縮尺などを求める作業であり、外部標定と呼ばれることもある。 And absolute orientation is a task of finding and scale of the object, similar to a three-dimensional model obtained in relative orientation with a reference point in the stereo pair images, sometimes referred to as exterior orientation.
絶対標定により、各標定点の実空間での座標値を求めることができる。 The absolute orientation can be obtained the coordinate values ​​of the real space of the orientation point. また、何れか一方のフレームで消失した標定点でも、絶対標定結果を用いて他方のフレームでの座標値から実空間での座標値を算出することが可能である。 Also in orientation points dropped due to one of the frames, it is possible to calculate the coordinates in the real space using the absolute orientation results from the coordinate values ​​of the other frame.

絶対標定により、各標定点の実空間での座標値がわかるため、これにより、被写体と実寸大の3次元モデルを生成することができる。 The absolute orientation, since it is apparent coordinates in the real space of the orientation points, which makes it possible to generate a three-dimensional model of the object and actual size.
例えば、算出された標定点を線分で結んで表示すると、被写体のワイヤーフレームモデルが得られる。 For example, when displaying by connecting the calculated orientation point in line, wire-frame model of the object is obtained. また、標定点を用いて面を張ると被写体のサーフィスモデルが得られる。 Further, Surface model of the object is obtained when tensioning the surface by using the orientation point.
以上のようにして、3次元モデル生成部67は、各ステレオペア画像ごとに3次元モデルを生成する。 As described above, the three-dimensional model generation unit 67 generates the three-dimensional model for each stereo pair images.
このように3次元モデル生成部67は、ステレオペア画像を構成する第1の静止画像上での標定点の2次元座標値と、第2の静止画像上での標定点の2次元座標値から、被写体上の標定点の3次元座標値を算出する3次元座標値算出手段を備えている。 Thus the three-dimensional model generation unit 67, a 2-dimensional coordinate values ​​of the orientation points on the first still image constituting a stereo pair images, the two-dimensional coordinate values ​​of the orientation points on the second still image , and a 3-dimensional coordinate value calculating means for calculating three-dimensional coordinates of the orientation points on the subject.

図2に戻り、3次元モデル連結部68は、3次元モデル生成部67によって生成された3次元モデルを連結する機能部である。 Returning to FIG. 2, the three-dimensional model coupling section 68 is a functional unit for connecting the three-dimensional model generated by a three-dimensional model generating unit 67.
1組のステレオペア画像から生成された3次元モデルでは、被写体の死角となる部分が欠損したものとなる。 The three-dimensional model generated from a set of stereo pair images, becomes the portion to be a blind spot of the subject is deficient.
そのため、被写体を他の方向から撮影したステレオペア画像による3次元モデルを連結していくことにより、死角となっていた部分の3次元モデルを生成することができる。 Therefore, by gradually connecting the three-dimensional model by stereo pair images obtained by photographing the subject from the other direction, it is possible to generate a three-dimensional model of a portion which has been a blind spot.

2つの3次元モデルを連結する場合、両者に共通する共通点が3つ以上(実用的には4つ)必要である。 When connecting the two 3-dimensional model, a common point which is common to both three or more (practically four) is required. この共通点は、両3次元モデルに共通の標定点や基準点を用いることができる。 The common point may be to use a common orientation point and the reference point on both the three-dimensional model.
これら共通点を用いることにより、両3次元モデルの空間座標軸の相対的な位置関係や回転角度関係がわかる。 By using these commonalities, the relative positional relationship and the rotational angular relationship of the spatial axes of the two three-dimensional models is known. そのため、これらの関係を用いて両3次元モデルの空間座標軸が一致するように座標変換を行い、両3次元モデルを連結することができる。 Therefore, it is possible to space coordinate axes of the two three-dimensional model using these relations performs coordinate transformation to match, coupling the two 3-dimensional model.

本実施の形態は、フレームで標定点を追跡するため両3次元モデルで3つの共通点を見いだすことができる。 This embodiment can be found three common points in both the three-dimensional model to track orientation point in the frame. 即ち、あるステレオペア画像から生成した3次元モデル(モデル1)と、そのステレオペア画像より後に追跡したステレオペア画像から生成した3次元モデル(モデル2)を考えた場合、モデル2を構成する標定点は、モデル1も有しているからである(標定点を再設定しない場合)。 That is, target constituting a three-dimensional model generated from a certain stereo pair image (model 1), when considering the three-dimensional model generated from a stereo pair images tracked after the stereo pair images (model 2), the model 2 (when not resetting the orientation point) fixed point, the model 1 is also because they have.

また、標定点を再設定した場合も、前段階での標定点と4つ重複するように新規の標定点を発生させるため、再設定前のステレオペア画像から生成した3次元モデルと再設定後のステレオペア画像から生成した3次元モデルを、この重複して発生させた標定点を用いて連結することができる。 Also, even when re-setting the orientation point, before to generate a new orientation points to orientation points and four overlapping at the stage, the three-dimensional model and after re-setting generated from the previous resetting stereopair images of the three-dimensional model generated from a stereo pair images can be linked using the orientation points which is generated by this overlap.

ここで、図10を用いて、3次元モデルの連結を説明する。 Here, with reference to FIG. 10, illustrating the connection of the three-dimensional model.
3次元モデル25aは、あるステレオペア画像を用いて生成したものである。 3D model 25a are those generated using a certain stereo pair images. 被写体は、四角柱上のオブジェクトであり、3次元モデル25aでは、被写体を構成する面のうち、上面である面M1と側面である面M2が生成されている。 Subject is an object of the rectangular prism, in the three-dimensional model 25a, among the surfaces constituting the subject, the face M2 is a is a surface M1 and the side upper surface are generated.

3次元モデル25bは、別のステレオペア画像を用いて生成したものである。 3D model 25b are those generated using another stereo pair images. 3次元モデル25bでは、被写体を構成する面のうち、側面である面M1と面M3が生成されている。 In the three-dimensional model 25b, among the surfaces constituting the object, the surface M1 and face M3 is a side are generated.
ここで、両3次元モデルが、共通点K1〜K4を共有しているとすると、共通点を用いて両3次元モデルの空間座標を一致させ、3次元モデル25cが得られる。 Here, both 3-D model, when the share a common point K 1 to K 4, by using the common point to match the spatial coordinates of the two three-dimensional model, the three-dimensional model 25c is obtained.

3次元モデル25cでは、被写体を構成する面のうち、M1〜M3が形成されており、3次元モデル25aで死角となり生成されなかった面M3が形成される。 In the three-dimensional model 25c, among the surfaces constituting the object, M1 to M3 are formed, the surface M3 that was not generated becomes a blind spot in the three-dimensional model 25a is formed.
更に、他の方角から(周囲・上部など)撮影したステレオペア画像による3次元モデルを連結していくことにより、被写体の全方位を構成することができる。 Furthermore, from another direction (around-top, etc.) by going to connect the three-dimensional model by captured stereo pair images, it is possible to constitute an omnidirectional subject.

このように、3次元モデル連結部68は、1のステレオペア画像(第1の静止画像、第2の静止画像)から生成された3次元モデル25aと、他のステレオペア画像(第3の静止画像、第4の静止画像)から生成された3次元モデル25bを3次元座標軸が一致するように座標変換を行う座標変換手段を備えている。 Thus, three-dimensional model coupling portion 68 1 of the stereo pair images (first still picture, the second still image) and three-dimensional model 25a generated from the other stereo pair image (third stationary image, and a coordinate transformation means for performing coordinate conversion so the fourth three-dimensional model 25b dimensional coordinate axes generated from the still image) match.
また、1のステレオペア画像と他のステレオペア画像は、同じ標定点を追跡したものであっても良いし(即ち、第1の静止画像〜第4の静止画像まで同じ標定点を追跡したもの)、あるいは、再発生させたもの(例えば、第1の静止画像と第2の静止画像を取得した後、標定点を再発生させて第3の静止画像と第4の静止画像を取得した場合)でもよい。 Further, the first stereo pair images and other stereo-pair images, may be obtained by tracking the same orientation points (i.e., those tracking the same orientation points to the first still image to fourth still image ), or those obtained by re-generated (e.g., after obtaining the first still image and the second still image, when acquiring the third still image and the fourth still image by re-generating the orientation points ) may be used. 後者の場合は、共通点を用いて座標変換を行う。 In the latter case, it performs coordinate transformation using the common point.

また、動画データ中に複数の被写体が存在する場合にもこれらを連結することができる。 Further, it is possible to connect them even when there are multiple subjects in the moving image data.
例えば、図11(a)に示したように、フレームAに被写体31、32が撮影され、フレームBに被写体32、33が撮影され、フレームCに被写体33、34が撮影されている場合を考える。 For example, as shown in FIG. 11 (a), the subject 31 is captured in the frame A, the object 32, 33 is captured in the frame B, consider a case where the subject 33 is captured in the frame C .
被写体31、32、33、34に、それぞれ座標系31a、32a、33a、34aを設定する。 The object 31, 32, 33, 34, respectively coordinate system 31a, sets 32a, 33a, and 34a.

座標系31aと座標系32aの位置関係はフレームAによりわかり、座標系33aと座標系34aの位置関係はフレームCによりわかる。 Positional relationship between the coordinate system 31a and the coordinate system 32a is understandable by the frame A, the positional relationship of the coordinate system 33a and the coordinate system 34a is seen by the frame C.
そして、フレーム32aとフレーム33aの位置関係は、フレームBによりわかるため、座標系31a〜座標系34aの位置関係が全てわかる。 The positional relationship between the frame 32a and the frame 33a, because the apparent by the frame B, seen all positional relationship of the coordinate system 31a~ coordinate system 34a is.
そのため、図11(b)に示したように、被写体31〜被写体34の相対的な位置関係を含めて、各被写体の3次元モデルを生成することができる。 Therefore, as shown in FIG. 11 (b), it is possible to include the relative positional relationship of the object 31 to the object 34, to generate a three-dimensional model of each object.
これにより、例えば、車から建造物が建ち並ぶ街並みを動画撮影し、これを用いて街並みをコンピュータグラフィックス化することが可能となる。 Thus, for example, the streets building from the car lined with moving image shooting, it is possible to computer graphics the streets with this.

次に、図12のフローチャートを用いて、3次元モデルの生成手順について説明する。 Next, with reference to the flowchart of FIG. 12 will be described procedure for generating a 3-dimensional model.
以下の処理は、3次元情報処理装置1が備えたCPU(Central Processing Unit)が3次元情報処理プログラムに従って行うものである。 The following processing, CPU with the three-dimensional information processing apparatus 1 (Central Processing Unit) is to perform in accordance with three-dimensional information processing program.
なお、i番目のフレームをF(i)などと表すことにする。 Note that the i-th frame to be represented with like F (i).

まず、動画データ処理部62は、動画データを取得する。 First, moving picture data processing unit 62 acquires the moving image data. そして、カウンタiを1に設定し、F(i)=F(1)、即ち最初のフレームに対して初期処理を行う(ステップ5)。 Then, set the counter i to 1, F (i) = F (1), i.e., performs the initial processing for the first frame (Step 5).
カウンタiは、図5に示したiであって、動画データ処理部62は、i番目〜i+β番目のフレームからステレオペア画像を構成するフレームを選択することになる。 Counter i is a i shown in FIG. 5, the video data processing unit 62 will select the frame forming the stereo pair images from the i-th through i + beta-th frame.
初期処理は、標定点設定部63がF(1)に撮影されている被写体上にメッシュを発生させて標定点を設定し、更に、基準点指定部64によってユーザから基準点の指定を受け付けることにより行われる。 The initial process, orientation point setting unit 63 to generate a mesh on the subject being photographed to F (1) Set the orientation points, further, to accept the designation of the reference point from the user by the reference point specifying unit 64 It is carried out by.

以上のようにして初期処理を終えると、標定点追跡部65が標定点の追跡を開始する。 Upon completion of the initialization process as described above, orientation point tracking unit 65 to start tracking orientation points.
標定点追跡部65は、まずカウンタkを1に設定する(ステレオペア画像10)。 Orientation point tracking unit 65 first sets the counter k to 1 (stereo pair images 10). カウンタkは、図5に示したkであって、標定点を追跡するフレームをカウントするパラメータである。 Counter k is a k shown in FIG. 5, which is a parameter for counting the frames to track orientation point.
標定点追跡部65は、カウンタkを設定した後、追跡技術を用いてF(i+k)において標定点を取得する(ステップ15)。 Orientation point tracking section 65, after setting the counter k, to obtain the orientation point in F (i + k) using tracking technology (step 15).

次に、標定点追跡部65は、F(i+k)で標定点が30%以上消失したか否かを判断する(ステップ20)。 Next, orientation point tracking unit 65, orientation points in F (i + k) determines whether lost more than 30% (step 20).
30%以上消失していない場合は(ステップ20;N)、標定点追跡部65は、更に、基準点が4個未満であるか否かを判断する(ステップ25)。 If not lost more than 30% (step 20; N), orientation point tracking unit 65 may further reference point is equal to or less than 4 (step 25).
基準点が消失してしまい、4個未満となった場合は(ステップ25;Y)、基準点を再指定する(ステップ30)。 Will be the reference point is lost, if it is less than four (Step 25; Y), re-specify the reference point (Step 30). この指定は基準点指定部64がユーザから指定を受け付けることにより行う。 This designation is performed by the reference point specifying unit 64 receives the designation from the user.

基準点が4個以上ある場合(ステップ25;N)、又は基準点を指定した後(ステップ30)、標定点追跡部65は、カウンタjを1に設定する(ステップ35)。 When the reference point is four or more (step 25; N), or after specifying the reference point (Step 30), orientation point tracking unit 65 sets a counter j to 1 (step 35).
そして、標定点追跡部65は、F(i+k−j)とF(i+k)の縦視差がα未満か否かを判断する(ステップ40)。 The orientation point tracking unit 65, the vertical parallax of F (i + k-j) and F (i + k) determines whether less than alpha (step 40).
縦視差がα未満である場合(ステップ40;Y)、標定点追跡部65は、この2つのフレームをステレオペア画像の組として採用し、F(i+k−j)とF(i+k)の標定点情報を標定点情報保持部66に保持させる(ステップ85)。 If the vertical parallax is less than alpha (step 40; Y), orientation point tracking section 65 adopts the two frames as a set of stereo pair images, orientation points of F (i + k-j) and F (i + k) to hold the information on orientation point information holding section 66 (step 85).

縦視差がα以上であった場合(ステップ40;N)、標定点追跡部65は、この2つの組み合わせをステレオペア画像として採用せず、更に、jがkより小さいか否かを判断する(ステップ45)。 If the vertical parallax is equal to or larger than alpha (step 40; N), orientation point tracking unit 65 does not adopt a combination of the two as a stereo pair images, further, j is determined whether k is smaller than ( step 45).
jがkより小さい場合(ステップ45;Y)、標定点追跡部65は、jに1を加え(ステップ50)、ステップ40に戻る。 If j is less than k (step 45; Y), orientation point tracking unit 65, the addition 1 to j (step 50), the flow returns to step 40.

jがk以上となる場合(jに1をインクリメントした結果kと等しくなる場合)(ステップ45;N)、標定点追跡部65は、更にkがβより小さいか否かを判断する(ステップ55)。 If j is greater than or equal to k (1 if result of the increment k and equal to j) (step 45; N), orientation point tracking section 65 further k determines whether the difference is less than beta (step 55 ).
kがβより小さい場合(ステップ55;Y)、標定点追跡部65は、kに1を加えてステップ15に戻る。 If k is smaller than beta (step 55; Y), orientation point tracking unit 65 adds 1 to k returns to step 15.

kがβ以上となる場合(kに1をインクリメントした結果βと等しくなる場合)(ステップ55;N)、標定点追跡部65は、標定点追跡部65はiにβを加算する。 If k is equal to or greater than beta (1 case equal to the result of the increment beta to k) (step 55; N), orientation point tracking unit 65, orientation point tracking unit 65 adds the beta to i.
そして、標定点追跡部65は、iとフレームの最大数Gとの大小関係を確認し、iがGより小さい場合は(ステップ65;Y)、ステップ10に戻り、iがG以上となる場合は(ステップ65;N)、標定点情報の取得処理を終了する。 The orientation point tracking section 65 checks the magnitude relationship between the maximum number G i and frame, i is when G is less than; returns to (step 65 Y), step 10, if i is greater than or equal to G the; terminates the acquisition process (step 65 N), orientation point information.

そして、3次元モデル生成部67が標定点情報保持部66に保持されている標定点情報を用いてステレオペア画像ごとに3次元モデルを生成し(ステップ70)、3次元モデル連結部68が生成された3次元モデルを連結して出力する(ステップ75)。 Then, the three-dimensional model generation unit 67 generates a 3-dimensional model for each stereo pair image using orientation point information set retained in the orientation point information holding section 66 (step 70), the three-dimensional model coupling unit 68 generates three-dimensional model connected to the output (step 75).

一方、追跡が進むと標定点の消失が多くなってくる。 On the other hand, tracking proceeds loss of orientation points becomes large. そのため、標定点が30%以上消失した場合は(ステップ20;N)、再度標定点を設定する必要があるため、F(i+k)にて被写体に矩形領域を設定し、メッシュを発生させる(ステップ100)。 Therefore, if the orientation point is lost more than 30% (step 20; N), it is necessary to set the orientation point again, and sets a rectangular area on the subject at F (i + k), to generate the mesh (step 100).

そして、標定点追跡部65は、再設定させた標定点のうち再設定前の標定点と重複しているものを基準点とする。 The orientation point tracking section 65, those are duplicates of orientation points before resetting of the orientation point is reset as a reference point.
次に、標定点追跡部65は、基準点が4個未満となったか否かを確認し(ステップ105)、4個未満となった場合は(ステップ105;Y)、基準点指定部64によりユーザからの基準点指定を受け付ける(ステップ110)。 Next, orientation point tracking unit 65, the reference point is to confirm whether it is less than four (Step 105), if it is less than four (Step 105; Y), the reference point specifying unit 64 accepting a reference point specified by the user (step 110).

基準点が4個以上ある場合(ステップ105;N)、又は基準点の指定を受け付けた後、標定点追跡部65は、iをi+kに設定し(ステップ115)、ステップ60に移行する。 When the reference point is four or more (step 105; N), or after receiving a designation of a reference point, orientation points tracking section 65 sets i to i + k (step 115), the process proceeds to step 60.

図13は、3次元情報処理装置1のハードウェア的な構成を示したブロック図である。 Figure 13 is a block diagram showing a hardware configuration of the 3-dimensional information processing apparatus 1. 3次元情報処理装置1は、例えば、パーソナルコンピュータを用いて構成することができる。 3D information processing apparatus 1, for example, can be configured using a personal computer.

3次元情報処理装置1は、制御部76にバスライン77を介して入力部82、出力部83、通信制御部84、記憶部85、記憶媒体駆動部88、入出力インターフェース(I/F)89などを接続して構成されている。 3D information processing apparatus 1 includes an input unit 82 to the control unit 76 via the bus line 77, an output unit 83, a communication control unit 84, storage unit 85, a storage medium drive unit 88, input-output interface (I / F) 89 which are connected, and the like. バスライン77は、CPU78と他の装置との信号の伝送を行う伝送線である。 Bus line 77 is a transmission line for transmitting signals between the CPU78 and the other devices.
制御部76は、CPU78、ROM(Read Only Memory)80、RAM(Random Access Memory)81などから構成されている。 Control unit 76 is composed of such CPU78, ROM (Read Only Memory) 80, RAM (Random Access Memory) 81.

CPU78は、3次元情報処理プログラムを実行し、動画データからの静止画像の取得、標定点の設定、ステレオペア画像の選択、写真測量、3次元モデルに生成及び連結といった一連の3次元情報処理を行う。 CPU78 performs three-dimensional information processing program, the acquisition of a still image from the moving image data, setting of the orientation points, selection of the stereo pair images, photogrammetry, a series of three-dimensional information such as product and linked to the 3-dimensional model do.

ROM80は、CPU78が各種演算や制御を行うための各種プログラム、データ、パラメータなどを格納したリードオンリーメモリである。 ROM80 stores various programs for CPU78 performs various calculations and control, data, parameters are read-only memory storing the like. CPU78は、ROM80からプログラムやデータ、パラメータなどを読み込むことができる。 CPU78 can read programs and data, parameters and the like from the ROM 80.

RAM81は、CPU78にワーキングメモリとして使用されるランダムアクセスメモリを提供する。 RAM81 provides random access memory used as a working memory to CPU 78. CPU78は、RAM81にプログラムやデータなどを書き込んだり消去したりすることができる。 CPU78 is capable of being written or erased a program and data to RAM81. 本実施の形態では、RAM81は、CPU78が3次元情報処理プログラムを実行する際の一時的な記憶装置として利用される。 In this embodiment, RAM 81 is utilized as a temporary storage device when CPU78 executes a three-dimensional information processing program.

入力部82は、例えばキーボード、マウス、ジョイスティックなどの入力装置から構成されている。 The input unit 82 is, for example, a keyboard, a mouse, and an input device such as a joystick.
キーボードは、3次元情報処理装置1に対して文字や数字などの情報を入力するための装置である。 Keyboard is a device for inputting information such as characters and figures for the three-dimensional information processing apparatus 1.
キーボードは、カナや英文字などを入力するためのキーや数字を入力するためのテンキー、各種機能キー、カーソルキー及びその他のキーによって構成されている。 Keyboard is composed of a numeric keypad for entering a key and numbers for inputting a kana and letters, various function keys, the cursor keys and other keys.

キーボードにより、3次元情報処理装置1に対してテキストデータを入力する他、各種のコマンドを入力することができる。 The keyboard, the other for inputting text data to the three-dimensional information processing apparatus 1 can input various commands. キーボードから基準点の実測値を入力することができる。 It is possible to enter the actual measured values ​​of the reference point from the keyboard.
マウスは、ポインティングデバイスである。 Mouse is a pointing device. 3次元情報処理装置1がGUI(Graphical User Interface)を用いて操作可能な場合、表示装置上に表示されたフレームで標定点やその他の点をクリックすることにより、基準点を指定することができる。 If 3-dimensional information processing apparatus 1 is GUI (Graphical User Interface) that can be manipulated using, by clicking the orientation points and other points in the frame displayed on the display device, it is possible to specify the reference point .

出力部83は、例えば表示装置、印刷装置などから構成されている。 The output unit 83 is, for example, a display device, and a like printing device.
表示装置は、例えばCRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、プラズマディスプレイなどのディスプレイ装置で構成され、画像情報や文字情報などを画面上に提示するための装置である。 Display device, a CRT (Cathode Ray Tube) display, a liquid crystal display is constituted by a display device such as a plasma display, a device for presenting the image information and character information or the like on the screen.
表示装置は、動画データから取得したフレームを表示したり、生成した3次元モデルを表示することができる。 Display device can display or display frame acquired from the moving image data, the generated three-dimensional model.

印刷装置は、紙などの印刷媒体に情報を印刷する装置である。 Printing apparatus is an apparatus for printing information on a printing medium such as paper. 印刷装置は、例えば、インクジェットプリンタ、レーザプリンタ、熱転写プリンタ、ドットプリンタなどの各種プリンタ装置によって構成されている。 Printing apparatus, for example, an inkjet printer, a laser printer, thermal transfer printer, is composed of various printers device such as dot printer. フレームや標定点情報、3次元モデルなどを印刷することができる。 Frame and orientation point information, can be printed and three-dimensional model.

通信制御部84は、通信回線を介してインターネットなどのネットワークに接続するための装置であって、モデム、ターミナルアダプタ、その他の装置によって構成されている。 The communication control unit 84 is a device for connecting to a network such as the Internet through a communication line, the modem is configured by a terminal adapter, and other devices.
動画データをネットワーク経由で取得する場合は、通信制御部を介してサーバ装置からこれを受信する。 When acquiring video data via the network receives it from the server apparatus via the communication control unit.

記憶部85は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータを読み書きするための駆動装置によって構成されている。 Storage unit 85 includes a writable storage medium is configured by a drive device for reading and writing programs and data for the storage medium. 当該記憶媒体として主にハードディスクが使用されるが、その他に、例えば、光磁気ディスク、磁気ディスク、半導体メモリなどの他の読み書き可能な記憶媒体によって構成することも可能である。 Although primarily a hard disk as the storage medium is used, other, for example, it can be constructed by a magneto-optical disk, magnetic disk, other writable storage medium such as a semiconductor memory.

記憶部85には、プログラム格納部86とデータ格納部87が形成されている。 The storage unit 85, a program storage unit 86 and the data storage portion 87 is formed.
プログラム格納部86には、3次元情報処理プログラムや、3次元情報処理装置1を動作させる上で基本的な機能を実現するOS(Operating System)などが記憶されている。 The program storage unit 86, and three-dimensional information processing program, such as OS (Operating System) for implementing basic functions in terms of operating the 3-dimensional information processing apparatus 1 is stored.
CPU78が、プログラム格納部86から3次元情報処理プログラムを読み出して実行することにより、図2に示したような構成要素がソフトウェア的に形成される。 CPU78 is by executing the program storage unit 86 reads the three-dimensional information processing programs, components shown in FIG. 2 is formed by software.
データ格納部85は、動画データや、この動画データから生成された3次元モデルが記憶される他、標定点情報保持部66が形成されて標定点情報も記憶する。 Data storage unit 85, and video data, the other for moving the three-dimensional model generated from the data are stored also stores orientation point information orientation point information memory 66 is formed.

記憶媒体駆動部88は、着脱可能な記憶媒体を駆動してデータの読み書きを行うための駆動装置である。 Storage medium driving unit 88 is a drive device for reading and writing data by driving a removable storage medium. 着脱可能な記憶媒体としては、例えば、光磁気ディスク、磁気ディスク、磁気テープ、半導体メモリ、データをパンチした紙テープ、CD−ROMなどがある。 The removable storage medium, e.g., magneto-optical disks, magnetic disks, magnetic tape, semiconductor memory, paper tape data was punched, and the like CD-ROM. なお、CD−ROMや紙テープは、読み込みのみ可能である。 In addition, CD-ROM and paper tape can be read-only.
記憶媒体駆動部88を駆動することにより、記憶媒体に格納されている動画データを読み込んだり、生成した3次元モデルを記憶媒体に書き込んだりすることができる。 By driving the storage medium drive unit 88, reads the moving image data stored in the storage medium, it is possible to write the generated three-dimensional model in a storage medium.

入出力インターフェース89は、例えば、シリアルインターフェースやその他の規格のインターフェースにより構成されている。 Output interface 89, for example, is constituted by a serial interface or other standards interfaces. 入出力インターフェース89は、外部機器を3次元情報処理装置1に接続するためのインターフェースである。 Output interface 89 is an interface for connecting an external device to the 3D information processing apparatus 1. 本実施の形態ではデジタルビデオカメラに接続して、当該カメラから動画データを読み込むのに使用することができる。 In this embodiment be connected to the digital video camera can be used to read the video data from the camera.

以上では、パーソナルコンピュータなどを用いて3次元情報処理装置1を構成したが、これに限定せず、例えば、デジタルビデオカメラに組み込むことも可能である。 In the above, to constitute a three-dimensional information processing apparatus 1 by using a personal computer, not limited to this, for example, can be incorporated in a digital video camera.
デジタルビデオカメラはCPUや記憶媒体、及び液状画面や入力キーなどを備えており、3次元情報処理プログラムをデジタルビデオカメラに組み込んで使用することも可能である。 Digital video camera is provided with a CPU and a storage medium, and the like liquid screen or input keys, it is also possible to use incorporate three-dimensional information processing program to the digital video camera.
また、標定点の追跡は、動画データにおいて時間が経過する方向に追跡しても良いし、時間をさかのぼる方向に追跡しても良い。 Also, tracking orientation point may be tracked in the direction of the passage of time in the video data may be tracked in a direction back in time.

以上に説明した本実施の形態では、次のような効果を得ることができる。 In the embodiment described above, it is possible to obtain the following effects.
(1)被写体をビデオカメラで撮影し、その動画データから被写体の3次元モデルを生成することができる。 (1) subject to a shot with a video camera, it is possible to generate a three-dimensional model of the object from the video data.
(2)画像処理技術を用いて被写体に標定点を自動的に設定することができる。 (2) image processing technology can automatically set the orientation point on the subject using.
(3)追跡技術を用いて標定点を動画データで追跡することにより、対応する標定点を有するステレオペア画像を動画データから取得することができる。 (3) by tracking the orientation point in moving image data by using the tracking technique, it is possible to obtain a stereo pair images with corresponding orientation point from moving image data.
(4)動画データから複数のステレオペア画像を取得して複数の3次元モデルを生成することができ、共通点を用いてこれらを連結することができる。 (4) to obtain a plurality of stereo pair images from the moving image data can be generated a plurality of three-dimensional model, it is possible to connect them using a common point.
(5)移動に伴い被写体上の標定点が消失した場合に、新たに標定点を自動設定することができる。 (5) when the orientation points on the subject with the movement is lost, it is possible to automatically set a new orientation point.
(6)標定点を再設定する際に、自動設定前の標定点と少なくとも3つ重複するように標定点を設定することにより、空間的情報の連続性を自動設定前後で保つことができる。 (6) when reconfiguring the orientation points, by setting the orientation points to at least three overlapping the orientation points before automatic setting can be maintained before and after the automatic setting of the continuity of the spatial information.

3次元モデルを生成する手順の概要を説明するための図である。 It is a diagram for explaining the outline of the procedure for generating a 3-dimensional model. 3次元情報処理装置の機能的構成を示したブロック図である。 It is a block diagram showing a functional configuration of a three-dimensional information processing apparatus. 標定点設定部が標定点を設定する手順を説明するための図である。 Orientation point setting unit is a diagram for explaining the procedure for setting the orientation point. 標定点を追跡方法を説明するための図である。 It is a diagram for explaining the tracking method the orientation point. ステレオペア画像を構成するフレームを選択する方法を説明するための図である。 How to select the frames constituting a stereo pair images is a diagram for explaining. 標定点を再設定する場合を説明するための図である。 It is a diagram for explaining a case of resetting the orientation point. 標定点を再設定する他の場合を説明するための図である。 It is a diagram for explaining a case of addition to reconfigure the orientation point. 標定点追跡部が抽出した標定点情報の一例を示した表である。 Is a table orientation point tracking section showing an example of the extracted orientation point information. 写真測量処理の手順を説明するためのフローチャートである。 It is a flowchart for explaining the procedure of photogrammetric process. 3次元モデルの連結を説明するための図である。 It is a diagram for explaining the connection of a three-dimensional model. 複数の3次元モデルを連結する場合を説明するための図である。 It is a diagram for explaining a case of connecting a plurality of three-dimensional model. 3次元モデルの生成手順について説明するためのフローチャートである。 Procedure for generating a 3-dimensional model is a flowchart for explaining. 3次元情報処理装置のハードウェア的な構成を示したブロック図である。 It is a block diagram showing a hardware configuration of the 3-dimensional information processing apparatus. 写真測量を説明するための図である。 It is a diagram for explaining the photogrammetry.

符号の説明 DESCRIPTION OF SYMBOLS

1 3次元情報処理装置 2 被写体 3 ビデオカメラ 6 3次元モデル 1 3-dimensional information processing apparatus 2 subject 3 video camera 6 3-dimensional model

Claims (7)

  1. 撮影位置を変化させながら被写体を撮影した動画データを取得する動画データ取得手段と、 And moving image data acquisition means for acquiring moving image data obtained by photographing a subject while changing the shooting position,
    前記取得した動画データから、前記被写体に標定点が設定された第1の静止画像を取得する第1の静止画像取得手段と、 From the moving image data the acquired, a first still image obtaining means for obtaining a first still image orientation point is set to the subject,
    前記設定された標定点の移動を前記動画データを用いて追跡することにより、前記設定された標定点に対応する標定点を有する第2の静止画像を取得する対応画像取得手段と、 By tracking the movement of the set orientation points by using the moving image data and the corresponding image obtaining means for obtaining a second still image with orientation points corresponding to the set orientation points,
    前記第1の静止画像上での標定点の2次元座標値と、前記第2の静止画像上での標定点の2次元座標値から、前記被写体上の標定点の3次元座標値を算出する3次元座標値算出手段と、 And 2-dimensional coordinate values ​​of the orientation points on the first still image, from the 2-dimensional coordinate values ​​of the orientation points on the second still image, and calculates the three-dimensional coordinates of the orientation points on the object and 3-dimensional coordinate value calculating means,
    を具備したことを特徴とする3次元情報処理装置。 3D information processing apparatus characterized by comprising a.
  2. 動画データから静止画像を取得し、前記静止画像で前記被写体上に標定点を設定する標定点設定手段を具備し、 Acquires a still image from the moving image data, comprising the orientation point setting means for setting the orientation point on said still images a subject,
    前記第1の静止画像取得手段は、前記標定点を設定した静止画像か、又は、前記動画データを用いて前記静止画像から標定点が追跡された静止画像を第1の静止画像として取得することを特徴とする請求項1に記載の3次元情報処理装置。 The first still image acquisition means, or a still image is set the orientation point, or, to obtain a still image orientation point is tracked from the still image using the moving image data as a first still image 3D information processing apparatus according to claim 1, wherein the.
  3. 前記第1の静止画像、又は第2の静止画像の標定点のうち、少なくとも2点の平面位置の実測値、および少なくとも3点の高さの実測値が既知である基準点の指定を受け付ける基準点受付手段と、 The first still image, or of the orientation point of the second still image, the reference for accepting at least the measured values ​​of the plane position of the two points, and the measured values ​​of at least three points height the specified reference point is known and the point receiving means,
    前記受け付けた基準点の実測値の入力を受け付ける実測値入力手段と、 The measured value input means for receiving input of actual measurement value of the accepted reference point,
    を具備し、 Equipped with,
    前記3次元座標値算出手段は、前記基準点の実測値を用いて実寸大の3次元座標値を算出することを特徴とする請求項1、又は請求項2に記載の3次元情報処理装置。 The 3-dimensional coordinate value calculating means, three-dimensional information processing apparatus according to claim 1 or claim 2, characterized in that to calculate the 3D coordinates of the actual size by using a measured value of the reference point.
  4. 被写体に設定された標定点を追跡することにより前記動画データから対応する標定点を有する2つの静止画像を取得する静止画像取得手段と、 Still image obtaining means for obtaining two still images with orientation points corresponding from the moving image data by tracking orientation points set in the subject,
    前記取得した2つの静止画像から当該標定点を用いて算出される当該被写体の3次元座標値の精度評価する評価手段と、 And evaluating means for accuracy evaluation of the three-dimensional coordinate value of the subject is calculated by using the orientation point of two still images the acquired,
    を具備し、 Equipped with,
    前記第1の静止画像取得手段と前記対応画像取得手段は、前記評価手段で所定の精度を有すると評価された静止画像を取得することを特徴とする請求項1、請求項2、又は請求項3に記載の3次元情報処理装置。 The first still image acquiring means and the corresponding image acquisition means, according to claim 1, claim 2, or claims, characterized in that for obtaining a still image were evaluated as having a predetermined accuracy by the evaluation unit 3D information processing apparatus according to 3.
  5. 前記第2の静止画像が有する少なくとも3つの標定点と重複するように、前記第2の静止画像で新たに標定点を設定する標定点再設定手段を具備し、 To overlap with at least three orientation points which the second still image has, includes the orientation point resetting means for setting a new orientation point in the second still image,
    前記対応画像取得手段は、前記再設定した標定点の移動を前記動画データで追跡することにより、前記再設定した標定点を有する第3の静止画像と第4の静止画像を取得し、 The corresponding image acquiring means, said by tracking the movement of the resetting the orientation point in the moving image data to obtain a third still image and fourth still image having an orientation point which is the reconfiguration,
    前記3次元座標値算出手段は、前記第3の静止画像上での標定点の2次元座標値と、前記第4の静止画像上での標定点の2次元座標値から、前記被写体上の標定点の3次元座標値を算出し、 The 3-dimensional coordinate value calculating means, said third and two-dimensional coordinate values ​​of the orientation points on the still image, from the 2-dimensional coordinate values ​​of the orientation points on the fourth still image, mark on the object calculating three-dimensional coordinates of the fixed point,
    前記第1の静止画像と前記第2の静止画像から算出された3次元座標軸と、前記第3の静止画像と前記第4の静止画像から算出された3次元座標軸と、が一致するように、前記重複して発生させた標定点の座標値を用いて座標変換を行う座標変換手段を具備したことを特徴とする請求項1から請求項4までのうちの何れか1の請求項に記載の3次元情報処理装置。 Wherein the first still image and the second three-dimensional coordinate axes calculated from static image, such that the third still image with the fourth three-dimensional coordinate axes calculated from the still image, match, according to any one of claims of claims 1 to 4, characterized by comprising a coordinate transformation means for performing coordinate transformation using the coordinate values ​​of the orientation points which is generated by the overlapping 3-dimensional information processing apparatus.
  6. 動画データ取得手段と、第1の静止画像取得手段と、対応画像取得手段と、3次元座標値算出手段と、を備えたコンピュータにおいて、 And video data acquisition unit, a first still image obtaining means and the corresponding image obtaining means, and the 3-dimensional coordinate value calculating means, in a computer equipped with,
    前記動画データ取得手段によって、撮影位置を変化させながら被写体を撮影した動画データを取得する動画データ取得ステップと、 By the moving picture data acquisition means, and the moving picture data acquisition step of acquiring moving image data obtained by photographing a subject while changing the shooting position,
    前記第1の静止画像取得手段によって、前記取得した動画データから、前記被写体に標定点が設定された第1の静止画像を取得する第1の静止画像取得ステップと、 By the first still image obtaining means, from the moving image data the acquired, a first still image acquisition step of acquiring a first still image orientation point is set to the subject,
    前記対応画像取得手段によって、前記設定された標定点の移動を前記動画データを用いて追跡することにより、前記設定された標定点に対応する標定点を有する第2の静止画像を取得する対応画像取得ステップと、 By the corresponding image acquisition unit, by tracking the movement of the set orientation points by using the moving image data, the corresponding image to obtain a second still image with orientation points corresponding to the set orientation points an acquisition step,
    前記3次元座標値算出手段によって、前記第1の静止画像上での標定点の2次元座標値と、前記第2の静止画像上での標定点の2次元座標値から、前記被写体上の標定点の3次元座標値を算出する3次元座標値算出ステップと、 By the 3-dimensional coordinate value calculating means, and the 2-dimensional coordinate values ​​of the orientation points on the first still image, from the 2-dimensional coordinate values ​​of the orientation points on the second still image, mark on the object and 3-dimensional coordinate value calculating step of calculating three-dimensional coordinates of the fixed point,
    から構成されたことを特徴とする3次元情報処理方法。 3D information processing method characterized in that it consists of.
  7. 撮影位置を変化させながら被写体を撮影した動画データを取得する動画データ取得機能と、 And video data acquisition function of acquiring moving image data obtained by photographing a subject while changing the shooting position,
    前記取得した動画データから、前記被写体に標定点が設定された第1の静止画像を取得する第1の静止画像取得機能と、 From the moving image data the acquired, a first still image acquisition function of acquiring a first still image orientation point is set to the subject,
    前記設定された標定点の移動を前記動画データを用いて追跡することにより、前記設定された標定点に対応する標定点を有する第2の静止画像を取得する対応画像取得機能と、 By tracking the movement of the set orientation points by using the moving image data, the corresponding image acquisition function of acquiring a second still image with orientation points corresponding to the set orientation points,
    前記第1の静止画像上での標定点の2次元座標値と、前記第2の静止画像上での標定点の2次元座標値から、前記被写体上の標定点の3次元座標値を算出する3次元座標値算出機能と、 And 2-dimensional coordinate values ​​of the orientation points on the first still image, from the 2-dimensional coordinate values ​​of the orientation points on the second still image, and calculates the three-dimensional coordinates of the orientation points on the object and 3-dimensional coordinate value calculating function,
    をコンピュータで実現する3次元情報処理プログラム。 3D information processing program for realizing on a computer.
JP2004149512A 2004-05-19 2004-05-19 Three-dimensional information processor, three-dimensional information processing method, and three-dimensional information processing program Pending JP2005332177A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004149512A JP2005332177A (en) 2004-05-19 2004-05-19 Three-dimensional information processor, three-dimensional information processing method, and three-dimensional information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004149512A JP2005332177A (en) 2004-05-19 2004-05-19 Three-dimensional information processor, three-dimensional information processing method, and three-dimensional information processing program

Publications (1)

Publication Number Publication Date
JP2005332177A true true JP2005332177A (en) 2005-12-02

Family

ID=35486801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004149512A Pending JP2005332177A (en) 2004-05-19 2004-05-19 Three-dimensional information processor, three-dimensional information processing method, and three-dimensional information processing program

Country Status (1)

Country Link
JP (1) JP2005332177A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006010376A (en) * 2004-06-23 2006-01-12 Topcon Corp Correlation method of stereo image and three-dimensional data generation device
JP2007183256A (en) * 2005-12-08 2007-07-19 Topcon Corp Image processing device and method therefor
JP2007278844A (en) * 2006-04-06 2007-10-25 Topcon Corp Image processing apparatus and its processing method
JP2009014629A (en) * 2007-07-06 2009-01-22 Topcon Corp Position measuring apparatus and position measuring method
JP2009014628A (en) * 2007-07-06 2009-01-22 Topcon Corp Position measuring apparatus and position measuring method
EP2073172A2 (en) 2007-12-21 2009-06-24 Kabushiki Kaisha TOPCON Image processing apparatus
CN102737406A (en) * 2011-04-06 2012-10-17 卡西欧计算机株式会社 Three-dimensional modeling apparatus and method
US8989518B2 (en) 2006-06-23 2015-03-24 Canon Kabushiki Kaisha Information processing method and apparatus for calculating information regarding measurement target on the basis of captured images
JP2015118101A (en) * 2015-02-02 2015-06-25 キヤノン株式会社 Information processing device and method and program
JP2015524969A (en) * 2012-07-11 2015-08-27 レイセオン カンパニー Point cloud constructed by the camera that is not fixed

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62131381A (en) * 1985-12-03 1987-06-13 Nippon Telegr & Teleph Corp <Ntt> Extraction processing method for three-dimensional position information
JPH0935061A (en) * 1995-07-19 1997-02-07 Agency Of Ind Science & Technol Image processing method
JPH0979820A (en) * 1995-09-18 1997-03-28 Toshiba Corp Restoring device of object shape and camera visual point movement and restoring method of object shape and camera visual point movement
JP2002109518A (en) * 2000-10-02 2002-04-12 Mitsutoyo Corp Three-dimensional shape restoring method and system therefor
JP2002245438A (en) * 2001-02-20 2002-08-30 Fukui Computer Kk Device, method and program for supporting preparation of three-dimensional computer graphics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62131381A (en) * 1985-12-03 1987-06-13 Nippon Telegr & Teleph Corp <Ntt> Extraction processing method for three-dimensional position information
JPH0935061A (en) * 1995-07-19 1997-02-07 Agency Of Ind Science & Technol Image processing method
JPH0979820A (en) * 1995-09-18 1997-03-28 Toshiba Corp Restoring device of object shape and camera visual point movement and restoring method of object shape and camera visual point movement
JP2002109518A (en) * 2000-10-02 2002-04-12 Mitsutoyo Corp Three-dimensional shape restoring method and system therefor
JP2002245438A (en) * 2001-02-20 2002-08-30 Fukui Computer Kk Device, method and program for supporting preparation of three-dimensional computer graphics

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4488804B2 (en) * 2004-06-23 2010-06-23 株式会社トプコン Stereo image association method and 3-dimensional data generation device
JP2006010376A (en) * 2004-06-23 2006-01-12 Topcon Corp Correlation method of stereo image and three-dimensional data generation device
JP2007183256A (en) * 2005-12-08 2007-07-19 Topcon Corp Image processing device and method therefor
JP2007278844A (en) * 2006-04-06 2007-10-25 Topcon Corp Image processing apparatus and its processing method
US8989518B2 (en) 2006-06-23 2015-03-24 Canon Kabushiki Kaisha Information processing method and apparatus for calculating information regarding measurement target on the basis of captured images
JP2009014629A (en) * 2007-07-06 2009-01-22 Topcon Corp Position measuring apparatus and position measuring method
JP2009014628A (en) * 2007-07-06 2009-01-22 Topcon Corp Position measuring apparatus and position measuring method
EP2073172A2 (en) 2007-12-21 2009-06-24 Kabushiki Kaisha TOPCON Image processing apparatus
JP2009150848A (en) * 2007-12-21 2009-07-09 Topcon Corp Image processing apparatus
US7860302B2 (en) 2007-12-21 2010-12-28 Kabushiki Kaisha Topcon Image processing apparatus
JP2012221128A (en) * 2011-04-06 2012-11-12 Casio Comput Co Ltd Three-dimensional modeling device, three-dimensional modeling method and program
US8928736B2 (en) 2011-04-06 2015-01-06 Casio Computer Co., Ltd. Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program
CN102737406A (en) * 2011-04-06 2012-10-17 卡西欧计算机株式会社 Three-dimensional modeling apparatus and method
JP2015524969A (en) * 2012-07-11 2015-08-27 レイセオン カンパニー Point cloud constructed by the camera that is not fixed
JP2015118101A (en) * 2015-02-02 2015-06-25 キヤノン株式会社 Information processing device and method and program

Similar Documents

Publication Publication Date Title
US7509241B2 (en) Method and apparatus for automatically generating a site model
US6677982B1 (en) Method for three dimensional spatial panorama formation
Wöhler 3D computer vision: efficient methods and applications
US5699444A (en) Methods and apparatus for using image data to determine camera location and orientation
Wagner et al. Real-time panoramic mapping and tracking on mobile phones
US6914599B1 (en) Image processing apparatus
US20040105573A1 (en) Augmented virtual environments
KR100473331B1 (en) Mobile Mapping System and treating method thereof
US5706416A (en) Method and apparatus for relating and combining multiple images of the same scene or object(s)
US5990900A (en) Two-dimensional to three-dimensional image converting system
US20120075433A1 (en) Efficient information presentation for augmented reality
US20120242795A1 (en) Digital 3d camera using periodic illumination
US6781618B2 (en) Hand-held 3D vision system
US20040246229A1 (en) Information display system, information processing apparatus, pointing apparatus, and pointer cursor display method in information display system
US7336814B2 (en) Method and apparatus for machine-vision
US20090110241A1 (en) Image processing apparatus and method for obtaining position and orientation of imaging apparatus
US6476803B1 (en) Object modeling system and process employing noise elimination and robust surface extraction techniques
US20060215935A1 (en) System and architecture for automatic image registration
US20020113865A1 (en) Image processing method and apparatus
US20040165786A1 (en) System and method for converting whiteboard content into an electronic document
Pollefeys et al. From images to 3D models
US6774889B1 (en) System and method for transforming an ordinary computer monitor screen into a touch screen
US6219444B1 (en) Synthesizing virtual two dimensional images of three dimensional space from a collection of real two dimensional images
US20020164067A1 (en) Nearest neighbor edge selection from feature tracking
US7307654B2 (en) Image capture and viewing system and method for generating a synthesized image

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20061206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20061206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100413