JP2017068849A - Article assembling status information display device - Google Patents

Article assembling status information display device Download PDF

Info

Publication number
JP2017068849A
JP2017068849A JP2016192678A JP2016192678A JP2017068849A JP 2017068849 A JP2017068849 A JP 2017068849A JP 2016192678 A JP2016192678 A JP 2016192678A JP 2016192678 A JP2016192678 A JP 2016192678A JP 2017068849 A JP2017068849 A JP 2017068849A
Authority
JP
Japan
Prior art keywords
article
dimensional
digital image
cad data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016192678A
Other languages
Japanese (ja)
Inventor
治男 石津
Haruo Ishizu
治男 石津
毅 柳原
Takeshi Yanagihara
毅 柳原
一男 松本
Kazuo Matsumoto
一男 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tomoe Corp
Original Assignee
Tomoe Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tomoe Corp filed Critical Tomoe Corp
Publication of JP2017068849A publication Critical patent/JP2017068849A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an article assembling status information display device in which a status after the assembling of a member or the like can be easily confirmed when assembling the member or the like as a final product, and a place and time of confirmation work are not constrained.SOLUTION: An article is photographed by a camera, and stored as a two-dimensional digital image. Three-dimensional CAD data are converted to a wire frame model, and applied with hidden-line removal, and operation information which is operated by being matched on a specific visual point which is substantially the same as the two-dimensional digital image with respect to the three-dimensional CAD data of the article which is applied with the hidden-line removal is stored in a tablet in advance. When confirming a status of assembling, a worker selects and calls out the two-dimensional digital image of an objective article from a file of the stored image everytime the worker confirms the assembling status, automatically calls out the three-dimensional CAD data which are applied with the hidden-line removal corresponding to the image, operates a controller attached to the tablet so that both the data and the image are extremely superimposed on each other, and displays them.SELECTED DRAWING: Figure 2

Description

本発明は、3次元CADデータを利用して、物品(部品、部材、製品の総称)の組立て後の状況(全体形状と精度等をいう。以下同じ)を目視で確認するための情報表示方法および装置に関するもので、例えば建設分野における溶接による鉄骨の組立て等に用いることができる。   The present invention is an information display method for visually confirming the situation (referring to the overall shape and accuracy, etc.) of an article (a general term for parts, members, and products) using three-dimensional CAD data. For example, it can be used for assembling a steel frame by welding in the construction field.

鉄骨等の物品の組立てを溶接等によって行う場合、形を整えるための組立治具を用いて仮の溶接(以下、組立溶接と称す)をした後、本溶接を行って仕上げるが、部材等の組立て後の状況を確認する必要がある。   When assembling an article such as a steel frame by welding, etc., after performing temporary welding (hereinafter referred to as assembly welding) using an assembly jig for adjusting the shape, the final welding is performed. It is necessary to check the situation after assembly.

従来、一般的には、部材等の組立て後の全体形状の確認は目視で行い、精度は定規や角度計等の計測器具を用いていた。しかし、鋼板等の部品が相互に任意角度で集合し複雑に組立てられている場合には、組立て間違いや組立て忘れといった単純間違いが発生し易く、また完成後の部材等の設置角度や位置を、良好な精度で測定することは極めて困難であった。特に、ヒューマンエラーに起因する組立工程での間違いは発見が難しかった。   Conventionally, generally, the overall shape after assembling members and the like has been confirmed visually, and the accuracy has been using a measuring instrument such as a ruler or an angle meter. However, when parts such as steel plates are assembled at an arbitrary angle and complicatedly assembled, simple mistakes such as assembly mistakes and forgetting assembly are likely to occur, and the installation angle and position of the completed member etc. It was extremely difficult to measure with good accuracy. In particular, it was difficult to find errors in the assembly process due to human errors.

従って、組立て間違いや組立て忘れが無く、精度も許容できる範囲で完成したかどうかは、それら部材等を最終製品として組み込んだ時、問題なく納まるかどうかで判断されるので、問題があった場合には、その部材等は作り直しとなり、コストだけでなく大幅な時間的ロスを生じさせてしまうということがあった。   Therefore, whether there is no assembly error or forgetting assembly and the accuracy is within an acceptable range is determined by whether or not these components fit within the final product, so if there is a problem However, the members and the like are remade, which causes not only cost but also significant time loss.

そのような不適合を防止するために、デジタル技術を活用する方法も開発されている。例えば、写真のような2次元画像の対象物に、2次元CADデータを重ね合わせることにより、2次元CADデータとの食い違いを確認する方法があった。しかし、対象物が3次元である場合には適用できなかった。   In order to prevent such nonconformity, a method using digital technology has been developed. For example, there is a method of confirming a discrepancy with the two-dimensional CAD data by superimposing the two-dimensional CAD data on an object such as a photograph. However, it cannot be applied when the object is three-dimensional.

また、対象物が3次元の場合では、対象物を計測によりデジタルデータ化し、それに対象物の設計上の正確なソリッドモデルの3次元CADデータを重ね合わせることにより、3次元CADデータとの食い違いを確認する方法があった。この方法では、対象物を3次元測定によりデジタルデータ化するという前処理が必要であるため、かなり大掛かりで手間とコストが必要とされた。   In addition, when the object is three-dimensional, the object is converted into digital data by measurement, and the three-dimensional CAD data of the accurate solid model in the design of the object is superimposed on the object, so that there is a discrepancy with the three-dimensional CAD data. There was a way to check. In this method, since pre-processing of converting the object into digital data by three-dimensional measurement is necessary, it is considerably large and requires labor and cost.

3次元CADデータを用いて部材等の加工精度確認や組立て間違いを防止する方法に関する先行技術として、例えば特許文献1乃至特許文献4がある。   For example, Patent Document 1 to Patent Document 4 are known as prior arts relating to a method for checking processing accuracy of members and the like using three-dimensional CAD data and preventing assembly errors.

特許文献1は、実物である被検体を断層画像撮像装置にて撮影し、その撮影された断層画像データを処理して物体部分の輪郭を決定する画像認識方法において、前記画像中に存在する物体部分の輪郭と、前記被検体の設計情報であるCADデータから求められる設計時の物体部分の輪郭付近の画像データとの位置合わせにより、両者の輪郭部分の差を明示するよう表示する方法である。   Patent Document 1 discloses an object existing in an image in an image recognition method in which an actual subject is imaged by a tomographic imaging apparatus and the captured tomographic image data is processed to determine the contour of an object part. This is a method of displaying the difference between the contour of the part and the image data in the vicinity of the contour of the object part at the time of design obtained from the CAD data which is the design information of the subject so as to clearly indicate the difference between the two contour parts. .

特許文献2は、X線CT装置を用いて、被試験体の3次元透視画像を生成し、被試験体の設計データである3次元CADデータの3次元透視画像を重ね合わせ、両者の形状が一致するまで、前記3次元CADデータの各ピクセルを所定の演算により移動させることにより、誤差を求める製造誤差評価システムである。   Patent Document 2 uses a X-ray CT apparatus to generate a three-dimensional perspective image of a test object, and superimposes the three-dimensional perspective image of the three-dimensional CAD data that is the design data of the test object. It is a manufacturing error evaluation system for obtaining an error by moving each pixel of the three-dimensional CAD data by a predetermined calculation until they match.

特許文献3では、作業者が組立作業を行う組立対象物を撮像し、その撮像手段のレンズ位置と作業者の目の位置との3次元座標における差分を算出し、前記撮影された画像データに基づいて、予め画像処理装置の外部記憶装置に登録されている各種組立対象物の3次元設計データの中から、前記組立対象物の3次元設計データを特定し、既に算出されている前記差分に基づき、前記作業者から見た前記組立対象物の3次元設計データに変換して、変換した視点位置情報に基づいて前記組立対象物の輪郭データを表示するものであり、作業者が実際に組立てている組立対象物が、作業者から見た状態で画面上に表示されるので、組み付ける方向などを間違えることが無くなるとしている。   In Patent Document 3, an image of an assembly object to be assembled by an operator is imaged, a difference in three-dimensional coordinates between the lens position of the imaging means and the position of the operator's eyes is calculated, and the captured image data is added to the captured image data. Based on the three-dimensional design data of the various assembly objects registered in advance in the external storage device of the image processing apparatus, the three-dimensional design data of the assembly object is specified, and the difference already calculated is determined. Based on the converted viewpoint position information, the outline data of the assembly object is displayed on the basis of the converted viewpoint position information. Since the assembly target object is displayed on the screen as viewed from the operator, it is assumed that there is no mistake in the assembly direction.

しかし、特許文献1及び2の先行技術は、実物である対象物(被検体又は被試験体)を、断層画像撮像装置やX線CT装置を用いることにより、その対象物の3次元デジタルデータを作成するという前処理が必要であるため、かなり大掛かりな装置を必要とし、かつ手間とコストがかかった。また、これらの先行技術は、3次元物体である対象物と3次元CADデータとを対比して、両者間の誤差を評価する手法であるが、3次元物体である対象物を2次元画像(2次元デジタルデータ)として扱うという発想はなく、従って、そのことに対して示唆するものは何もない。   However, in the prior arts of Patent Documents 1 and 2, three-dimensional digital data of an object is obtained by using a tomographic imaging apparatus or an X-ray CT apparatus for an actual object (subject or test object). Since pre-processing of creating the image is necessary, a considerably large-scale device is required, and labor and cost are required. In addition, these prior arts are methods for comparing an object that is a three-dimensional object with three-dimensional CAD data and evaluating an error between the two objects. There is no idea of treating it as two-dimensional digital data), and therefore there is nothing to suggest about it.

また、特許文献3は、組立手順に沿って作業者が実際に組立てている組立対象物を、組立作業者の視点から見た状態で画面表示することにより、流れ作業の中で多数の様々な部品の組立位置や方向を間違えないように作業支援するものであり、部材等の組立て後の状況、即ち、全体形状と精度等を確認することは目的ではない。その上、この方法では、運ばれてきた一つの組立対象物をその場で撮影し、その画像データを基にそれに対応する3次元設計データから輪郭データを表示する、という一連の手順を順次繰り返すことが前提であるので、照合作業の場所と時間が制約される。   Further, Patent Document 3 displays a large number of various objects in the flow work by displaying the assembly object actually assembled by the worker according to the assembly procedure in a state viewed from the viewpoint of the assembly worker. It is intended to support the work so that the assembly position and direction of the parts are not mistaken, and it is not the purpose to confirm the state after the assembly of the members, that is, the overall shape and accuracy. In addition, this method sequentially repeats a series of procedures in which a single assembly object that has been carried is photographed on the spot and contour data is displayed from the corresponding three-dimensional design data based on the image data. Therefore, the place and time of collation work are limited.

特許文献4では、部分組立品の位置と向きが正しいかどうかを、計算機の「比較部」が、次のように行うとしている。作業者による部品の組立ては、組立て用の作業エリアにおいて行われ、一定の決められたカメラ位置から部品を撮影するが、その部品の画像であるとの認識が可能になるのは、「形状認識装置」に、前記カメラ位置から見える一様な作業エリアを背景画像として予め記憶させておき、その背景画像と部品が設置された後の撮影画像との差分画像を識別させることによる。また、このカメラ位置から見える前記部品の形状データは、予め「形状認識装置」に格納されている。   According to Patent Document 4, the “comparison unit” of the computer determines whether the position and orientation of the subassembly are correct as follows. The parts are assembled by the worker in the work area for assembly, and the parts are photographed from a fixed camera position. In the apparatus, a uniform work area visible from the camera position is stored in advance as a background image, and a difference image between the background image and a captured image after the parts are installed is identified. Further, the shape data of the part that can be seen from the camera position is stored in advance in the “shape recognition device”.

取付けする部品が正しいかどうかの照合は、計算機の「部品判別部」が行う。
カメラによる部分組立品の撮影画像に基づいて、「形状認識装置」により、その部分組立品の2次元形状を認識し、当該部分組立品の組み付け形状を示すデータとして、2次元形状データを出力する。
一方、計算機の「3次元形状モデル生成部」において、個別部品の部品識別情報から、前記撮影画像に対応する、複数部品が結合された状態における3次元形状モデルを生成する。
The “part discriminating unit” of the computer verifies whether the part to be installed is correct.
Based on the captured image of the subassembly by the camera, the “shape recognition device” recognizes the two-dimensional shape of the subassembly, and outputs the two-dimensional shape data as data indicating the assembled shape of the subassembly. .
On the other hand, a “three-dimensional shape model generation unit” of the computer generates a three-dimensional shape model in a state in which a plurality of components are combined corresponding to the photographed image, from the component identification information of the individual components.

この3次元形状データをカメラの視点方向に投影して作成した2次元形状データと、撮影画像の2次元形状データとを比較して、組立て品の位置と向きが正しいかどうかを、計算機の「比較部」が照合を行う。
従って、前記照合方法は、撮影画像と2次元形状モデルとの重ね合わせによる作業者の目視ではなく、部品識別情報に基づく計算機の内部処理であり、組立状況の正誤に関する情報が出力される。
また、複数部品が結合された3次元形状モデルを抽出する際に、確認対象の部分組立品がモニター画面上で際立つように、その他の部品を非表示状態にするが、その時、陰線処理を行う。
The two-dimensional shape data created by projecting this three-dimensional shape data in the direction of the camera's viewpoint and the two-dimensional shape data of the photographed image are compared to determine whether the position and orientation of the assembly are correct. The “comparator” performs collation.
Therefore, the collation method is an internal process of the computer based on the component identification information, not the visual observation of the operator by superimposing the photographed image and the two-dimensional shape model, and information on whether the assembly state is correct or not is output.
In addition, when extracting a three-dimensional shape model in which a plurality of parts are combined, other parts are hidden so that the sub-assembly to be confirmed stands out on the monitor screen. At that time, hidden line processing is performed. .

引用文献4の照合方法は以上のようであるが、対象部品であることの認識をするために、作業エリアを背景画像として予め記憶させておき、その背景画像と部品が設置された後の撮影画像との差分画像を認識させる必要がある。このことは、流れ作業による部品組立てをする場合には適するが、溶接による鉄骨の組立て等を行う建設の工場や現場の作業場のように、多種多様な環境下では適用できない。   Although the collation method of Cited Document 4 is as described above, in order to recognize that it is a target part, a work area is stored in advance as a background image, and shooting after the background image and the part are installed It is necessary to recognize a difference image from the image. This is suitable when assembling parts by flow work, but cannot be applied in various environments such as construction factories or work sites in the field where steel structures are assembled by welding.

また、前記陰線処理については、確認対象の部分組立品のみがモニター画面上で表示状態の時に施される操作に過ぎず、組立て状況の可否判断を目的として、陰線処理済3次元形状データを撮影画像に重ね合わせる手段として利用しているわけではない。かつ、そのことについての記述や示唆はない。しかも、前記3次元形状データから作成した2次元形状データを、2次元形状データである撮影画像との照合に用いる、即ち、2次元形状モデルと2次元画像とを比較するが、もし、3次元形状データからカメラ視点方向に投影して作成した前記2次元形状データを生成する際に無視できない誤差を含んでいた場合、生成済みの2次元形状データを直接微調整して修正できないので、再度、3次元形状データから正確な2次元形状データを作成し直す必要がある。   The hidden line processing is only an operation performed when the sub-assembly to be confirmed is displayed on the monitor screen, and the hidden line processed 3D shape data is photographed for the purpose of determining the assembly status. It is not used as a means to superimpose on an image. And there is no description or suggestion about that. Moreover, the two-dimensional shape data created from the three-dimensional shape data is used for collation with the captured image that is the two-dimensional shape data, that is, the two-dimensional shape model is compared with the two-dimensional image. When the two-dimensional shape data generated by projecting from the shape data in the camera viewpoint direction includes an error that cannot be ignored, the generated two-dimensional shape data cannot be directly corrected and corrected. It is necessary to recreate accurate two-dimensional shape data from the three-dimensional shape data.

更には、組立て状況の可否判断は目視ではなく、前記のように計算機の「比較部」が内部処理として行うので、そのために必要なプログラムを搭載する必要がある。
以上のように、引用文献4の方法では、組立て状況の確認作業の場所と時間が制約され、かつシステムが大掛かりになる等の問題があった。
Furthermore, since the “comparison unit” of the computer as described above determines whether the assembly state is acceptable or not as an internal process as described above, it is necessary to install a necessary program.
As described above, the method of the cited document 4 has a problem that the place and time for checking the assembly status are restricted and the system becomes large.

特開平09−204532号公報Japanese Patent Laid-Open No. 09-204532 特開2004−132944号公報JP 2004-132944 A 特開2009−289046号公報JP 2009-289046 A 特開2008−235504号公報JP 2008-235504 A

本発明は、鉄骨等の部材等を最終製品として組み込んだ時、上手く納まらないという不適合が発生しないように、その部材等の組立て後の状況を確認する際に、大掛かりな装置は不要で、簡便にしてその確認作業の場所と時間が制約されない、3次元CADデータを利用した、物品の組立て状況情報の表示装置を提供するものである。   The present invention eliminates the need for a large-scale device when checking the condition after assembling such members so that the non-conformance that does not fit well when a member such as a steel frame is incorporated as a final product does not occur. Thus, it is an object to provide a display device for assembling information on articles using three-dimensional CAD data in which the location and time of the confirmation work are not limited.

本発明は、作業場にてカメラで撮影された部材等の物品の2次元デジタル画像をコンピュータに取り込む2次元デジタル画像入力手段と、
前記2次元デジタル画像をモニター画面上に表示する2次元デジタル画像表示手段と、
記憶媒体または前記コンピュータに備えられた記憶手段に保存されている前記物品の3次元CADデータ(設計図)を呼び出し、前記モニター画面上で前記物品の2次元デジタル画像に重ね合わせて表示する3次元CADデータ呼出し手段と、
を備えた物品の組立て状況情報表示装置であって、
前記2次元デジタル画像入力手段から取り込んだ物品の2次元デジタル画像のデータファイルを保存する2次元デジタル画像ファイル記憶手段と、
前記物品のソリッドモデルの3次元CADデータをワイヤーフレームモデルに変換して輪郭線を抽出し、そのワイヤーフレームモデルに対して隠れて見えないはずの線を破線や薄い線或いは別の色で表示、もしくは完全に隠すことにより区別する陰線処理を施す陰線処理手段と、
前記陰線処理を施した陰線処理済3次元CADデータについて、比較対象とする前記物品の2次元デジタル画像と概ね同じ特定視点から見た座標変換マトリクス等の、人が操作した情報を管理ファイルとして保存しておく管理ファイル記憶手段と、
物品の組立て状況を確認する際に、確認対象とする前記2次元デジタル画像ファイル記憶手段に保存済みの前記物品の2次元デジタル画像のデータファイルを指定して、対応する前記陰線処理済3次元CADデータを自動呼出する陰線処理済3次元CADデータ呼出し手段と、
前記2次元デジタル画像のデータファイルと前記陰線処理済3次元CADデータによって前記モニター画面上に表示された画像の輪郭線の重なりの多少のずれを、操作(回転、移動、拡大、縮小)して微調整するためのコントローラと、
をさらに備えていることを特徴とするものである。
The present invention includes a two-dimensional digital image input means for capturing a two-dimensional digital image of an article such as a member photographed by a camera at a work site into a computer
Two-dimensional digital image display means for displaying the two-dimensional digital image on a monitor screen;
Three-dimensional CAD data (design drawing) of the article stored in a storage medium or storage means provided in the computer is called up and displayed superimposed on a two-dimensional digital image of the article on the monitor screen CAD data calling means;
An assembly status information display device for an article comprising:
Two-dimensional digital image file storage means for storing a data file of a two-dimensional digital image of an article taken in from the two-dimensional digital image input means;
Convert the 3D CAD data of the solid model of the article into a wire frame model, extract the contour line, and display the line that should not be hidden behind the wire frame model with a broken line, a thin line, or another color. Or, hidden line processing means for performing hidden line processing to distinguish by completely hiding,
For the hidden line processed 3D CAD data subjected to the hidden line processing, information operated by a person such as a coordinate transformation matrix viewed from a specific viewpoint that is substantially the same as the 2D digital image of the article to be compared is saved as a management file. Management file storage means,
When checking the assembly status of an article, the data file of the two-dimensional digital image of the article stored in the two-dimensional digital image file storage means to be checked is designated, and the corresponding hidden line processed three-dimensional CAD is specified. Hidden line processed three-dimensional CAD data calling means for automatically calling data;
Manipulating (rotating, moving, enlarging, reducing) a slight shift in the overlapping of the contour lines of the image displayed on the monitor screen by the data file of the two-dimensional digital image and the hidden-line processed three-dimensional CAD data. A controller for fine tuning,
Is further provided.

上記構成において、前記物品の2次元デジタル画像を表示し、かつ前記物品の3次元CADデータを処理し自動的に輪郭線を抽出し、陰線処理して表示するプログラムを搭載したコンピュータとして、前記陰線処理済3次元CADデータを操作(回転、移動、拡大、縮小)するためのコントローラ付きのタブレットを用い、前記物品の撮影に使用するカメラとして、前記タブレットに付属したリアカメラ、もしくは前記タブレットと無線通信できる分離カメラを用いれば、装置をコンパクトにすることができる。   In the above-mentioned configuration, the hidden line is a computer equipped with a program that displays a two-dimensional digital image of the article, processes a three-dimensional CAD data of the article, automatically extracts a contour line, and performs a hidden line process. Using a tablet with a controller for manipulating (rotating, moving, enlarging, reducing) processed 3D CAD data, a rear camera attached to the tablet or wirelessly with the tablet as a camera used for photographing the article If a separate camera capable of communication is used, the apparatus can be made compact.

カメラがタブレットと分離できれば、カメラを三脚等にて固定しておくことができ、タブレットのモニター画面の映像はぶれることはないので、タブレットは三脚等で固定する必要はなく、作業者が手持ちで自由に移動することも可能になる。   If the camera can be separated from the tablet, the camera can be fixed with a tripod, etc., and the image on the monitor screen of the tablet will not be blurred, so there is no need to fix the tablet with a tripod, etc. It is also possible to move freely.

また、前記物品のソリッドモデルに対応する陰線処理済3次元CADデータを、前記2次元デジタル画像のデータファイルと同じファイル名で、または関連付けたファイル名で保存し、組立て状況の確認作業を人が行う際に、保存済みの前記2次元デジタル画像のデータファイルの中から組立て状況を確認したい物品の2次元デジタル画像のデータファイルが呼び出されると、自動的に同じファイル名で、または関連付けたファイル名で保存された陰線処理済3次元CADデータを呼び出す関連データ呼出し手段を備える構成とすれば、作業が容易となり、誤操作が防げる。   Also, the hidden line processed three-dimensional CAD data corresponding to the solid model of the article is stored with the same file name as the data file of the two-dimensional digital image or with an associated file name, and a person can check the assembly status. When a data file of a two-dimensional digital image of an article whose assembly status is to be confirmed is called out from the stored two-dimensional digital image data file, the same file name or an associated file name is automatically created. If the configuration includes the related data calling means for calling the hidden line processed 3D CAD data stored in (2), the operation becomes easy and erroneous operation can be prevented.

すなわち、物品の組立て状況を確認したい方向から見て人が撮影した2次元デジタル画像を画像ファイルとして、名前を付けてコンピュータに保存し、かつ、前記物品の組立て状況を確認したい方向に概ね合うように人が操作(回転、移動、拡大、縮小)した前記物品のソリッドモデルに対応する陰線処理済3次元CADデータを、その操作情報(座標変換マトリクス、ファイル保管場所等)と共に管理ファイルとして前記画像ファイルと同じ名前を付けてコンピュータに保存しておくことにより、組立て状況の確認作業を人が行う際に、前記保存済みの画像ファイルの中から組立て状況を確認したい物品の2次元デジタル画像をその都度、人が選択して呼び出し、その2次元デジタル画像のファイル名と同じファイル名の陰線処理済3次元CADデータを、コンピュータが自動的に前記管理ファイルの中から呼び出すことができる。   That is, a two-dimensional digital image taken by a person as viewed from the direction in which the assembly state of the article is to be confirmed is stored as an image file in a computer with a name, and generally matches the direction in which the assembly state of the article is to be confirmed. The hidden line processed three-dimensional CAD data corresponding to the solid model of the article that has been operated (rotated, moved, enlarged, reduced) by the user as a management file together with the operation information (coordinate conversion matrix, file storage location, etc.) The same name as the file is saved in the computer, so that when a person checks the assembly status, a two-dimensional digital image of the article whose assembly status is to be checked is stored in the stored image file. Each time a person selects and calls it, the hidden 3D file with the same file name as the file name of the 2D digital image The AD data, the computer can be called in the automatically the management file.

相互に対応する画像ファイル及び管理ファイルの名前(拡張子を除く)を一致させておけば、人がコンピュータを操作して呼び出した2次元デジタル画像に対して、前記コンピュータの記憶装置内に格納された、対応する3次元CADデータを、前記画像ファイルと同名の前記管理ファイルに保存された座標変換マトリクス等の操作情報と共にコンピュータが参照することにより、組立て状況を確認したい方向に特定視点を合わせて、前記コンピュータのモニター画面上で即座に再配置することが可能となる。   If the names of the image file and management file corresponding to each other (excluding the extension) are matched, a two-dimensional digital image that is called by a person operating the computer is stored in the storage device of the computer. The computer refers to the corresponding three-dimensional CAD data together with operation information such as a coordinate transformation matrix stored in the management file having the same name as the image file, so that the specific viewpoint is adjusted in the direction in which the assembly status is to be confirmed. It is possible to immediately rearrange on the computer monitor screen.

従って、事前に確認対象となる物品を一つもしくは複数撮影し、2次元デジタル画像としてコンピュータに取り入れ保存し、適宜、必要画像の選択及び呼び出すことが可能なので、対象物品の2次元デジタル画像と同物品の3次元CADデータとの重ね合わせによる組立て状況確認作業をする場所は作業現場である必要はなく、また、作業現場を離れてからでも作業できるので時間的にも制約されないため、合理的かつ効率的である。   Therefore, it is possible to take one or a plurality of articles to be confirmed in advance, take them in a computer as a two-dimensional digital image, save them, and select and recall the necessary images as appropriate. It is not necessary to place the assembly status confirmation work by superimposing the three-dimensional CAD data of the article on the work site, and since the work can be performed even after leaving the work site, it is not limited in terms of time. Efficient.

本発明を用いて物品の組立て状況を確認する手順を、フローチャートで示すと以下のようになる。なお、下記手順(1)、(2)と(1a)、(2a)とは、並行して実行することができる。   The procedure for confirming the assembly status of the articles using the present invention is shown as a flowchart as follows. The following procedures (1), (2), (1a), and (2a) can be executed in parallel.

手順(1):製作された一つもしくは複数の物品の各パーツを、組立溶接にて仮組みし、設計図の形状に組立てる。
手順(2):仮組みされた前記物品を、作業者が組立て状況を確認したい方向から特定視点を決めてカメラにて撮影し、その画像をコンピュータに2次元の画像ファイルとして保存する。
Procedure (1): Each part of one or a plurality of manufactured articles is temporarily assembled by assembly welding and assembled into the shape of the design drawing.
Procedure (2): A specific viewpoint is determined from the direction in which the operator wants to check the assembly state of the article, and the image is captured by a camera, and the image is stored in a computer as a two-dimensional image file.

手順(1a):作業者が、対象とする前記物品の設計図からソリッドモデル(3次元CADデータ)を作成する。
手順(2a):前記ソリッドモデルを、コンピュータが、ワイヤーフレームモデルに変換(自動的に輪郭線を抽出)した後、陰線処理を施し、その作成された陰線処理済3次元CADデータをコンピュータに保存する。
Procedure (1a): An operator creates a solid model (three-dimensional CAD data) from the design drawing of the target article.
Step (2a): The computer converts the solid model into a wire frame model (automatically extracts the contour line), performs hidden line processing, and stores the generated hidden line processed 3D CAD data in the computer. To do.

手順(3):手順(2)で保存された画像ファイルの中から、作業者が確認対象となる物品の画像を選定する。
手順(4):手順(3)で選定した物品の画像の特定視点に概ね合うように、対応する前記陰線処理済3次元CADデータを呼び出して、作業者が操作(回転、移動、拡大、縮小)し、その操作情報(座標変換マトリクス、ファイル保管場所等)と共に管理ファイルとしてコンピュータに保存する。
Procedure (3): The operator selects an image of the article to be confirmed from the image files saved in the procedure (2).
Step (4): The corresponding hidden-line processed three-dimensional CAD data is called up so as to roughly match the specific viewpoint of the image of the article selected in step (3), and the operator operates (rotates, moves, enlarges, reduces) And the operation information (coordinate conversion matrix, file storage location, etc.) is stored in the computer as a management file.

手順(5):物品の組立て状況を確認する際に、手順(2)で保存された画像ファイルの中から、確認対象物品の画像を指定すると、その画像に対応させて操作して保存した手順(4)の陰線処理済3次元CADデータをコンピュータが自動呼び出しする。この時、手順(4)で保存した陰線処理済3次元CADデータは、前記部品の画像の特定視点に概ね合っているものの、両者の輪郭線の重なりには多少のずれがある。そこで、より精度の高い重ね合わせは、モニター画面上のコントローラを作業者が操作して、前記陰線処理済3次元CADデータの方輪郭線を回転、移動、拡大、縮小することにより微調整して行う。   Step (5): When confirming the assembly status of an article, if an image of the article to be confirmed is designated from the image files saved in step (2), the procedure is stored corresponding to that image. The computer automatically calls the hidden line processed 3D CAD data of (4). At this time, the hidden line processed three-dimensional CAD data stored in the procedure (4) generally matches the specific viewpoint of the image of the component, but there is a slight deviation in the overlapping of the outlines of the two. Therefore, for more accurate overlay, the operator operates the controller on the monitor screen and finely adjusts the contour line of the hidden line processed 3D CAD data by rotating, moving, enlarging, and reducing. Do.

手順(6):前記手順(5)において重ね合わせた、前記物品の画像の輪郭線と、その画像に対応させた陰線処理済3次元CADデータの輪郭線との一致度合い(ずれ)が、前記物品を製品として組み込むのに支障となる程度かどうかを、作業者が目視にて判断し、問題あれば前記手順(1)に戻り修正する。   Procedure (6): The degree of coincidence (displacement) between the outline of the image of the article superimposed in the procedure (5) and the outline of the hidden line processed three-dimensional CAD data corresponding to the image is The operator visually determines whether or not it is an obstacle to incorporating the article as a product, and if there is a problem, the procedure returns to the procedure (1) to correct.

手順(7):手順(6)で問題がなければ、前記物品の各パーツを本溶接して組立てを完了させる。
手順(8):手順(7)で組立て完了した後の各物品を、組立て状況を確認したい方向から特定視点を決めて作業者がカメラにて撮影し、その画像をコンピュータに画像ファイルとして保存する。
Step (7): If there is no problem in step (6), the parts of the article are fully welded to complete the assembly.
Step (8): Each article after completion of the assembly in step (7) is determined by a specific viewpoint from the direction in which the assembly status is to be confirmed, and the operator takes a picture with the camera, and the image is stored in the computer as an image file. .

手順(9):手順(8)で保存された画像ファイル中から、確認対象となる物品の画像を作業者が選定する。
手順(10):手順(9)で選定した物品の画像の特定視点に概ね合うように、前記陰線処理済3次元CADデータをコンピュータに付属のコントローラを作業者が操作(回転、移動、拡大、縮小)し、その操作情報(座標変換マトリクス、ファイル保管場所等)と共に管理ファイルとしてコンピュータに保存する。
Procedure (9): The operator selects an image of the article to be confirmed from the image file saved in the procedure (8).
Step (10): An operator operates (rotates, moves, enlarges, and manipulates the controller attached to the computer with the hidden line processed three-dimensional CAD data so as to substantially match the specific viewpoint of the image of the article selected in step (9). And is stored in the computer as a management file together with the operation information (coordinate conversion matrix, file storage location, etc.).

手順(11):物品の組立て状況を確認する際に、手順(8)で保存された画像ファイルの中から、確認対象物品の画像を指定すると、その画像に対応させて操作して保存した手順(10)の陰線処理済3次元CADデータをコンピュータが自動呼び出しする。この時、手順(4)で保存した陰線処理済3次元CADデータは、前記部品の画像の特定視点に概ね合っているものの、両者の輪郭線の重なりには多少のずれがある。そこで、より精度の高い重ね合わせは、モニター画面上のコントローラを作業者が操作して、前記陰線処理済3次元CADデータの方を回転、移動、拡大、縮小することにより微調整して行う。   Step (11): When checking the assembly status of an article, if an image of the article to be checked is specified from the image file saved in step (8), the procedure is stored corresponding to the image. The computer automatically calls the hidden line processed three-dimensional CAD data of (10). At this time, the hidden line processed three-dimensional CAD data saved in the procedure (4) generally matches the specific viewpoint of the image of the part, but there is a slight deviation in the overlapping of the contour lines of both. Therefore, superimposition with higher accuracy is performed by finely adjusting the controller on the monitor screen by rotating, moving, enlarging, and reducing the hidden line processed 3D CAD data.

手順(12):前記手順(11)において重ね合わせた、前記物品の画像の輪郭線と、その画像に対応させた陰線処理済3次元CADデータの輪郭線との一致度合い(ずれ)が、前記物品を製品として組込むのに支障となる程度かどうかを作業者が目視にて判断する。一致度合いが支障ない程度であれば終了とし、支障があっても修正可能の場合には修正して手順(8)に戻る。修正不可能な程度であれば、再製作とする。
以上の手順で使用するコンピュータにタブレットを用いれば、組立て作業場での移動が容易なので、機動的かつ効率的に組立て状況の確認作業ができて好適である。
Step (12): The degree of coincidence (displacement) between the contour line of the image of the article superimposed in the step (11) and the contour line of the hidden line processed three-dimensional CAD data corresponding to the image is An operator visually determines whether or not it is an obstacle to assembling an article as a product. If the degree of coincidence is satisfactory, the process is terminated. If the problem can be corrected even if there is a problem, the process is corrected and the process returns to step (8). If it cannot be corrected, it will be remanufactured.
If a tablet is used for the computer used in the above procedure, it is easy to move in the assembly work place, so that it is possible to confirm the assembly status flexibly and efficiently.

なお、上記輪郭線は、前記部材等の物品のパーツである鋼板の縁線や孔の縁線などの形状認識する上で要所となる部分である。   In addition, the said outline is a part which becomes important when shape recognition, such as the edge line of the steel plate which is parts of articles, such as the said member, and the edge line of a hole, is carried out.

また、カメラにて撮影した前記物品の画像は、そのカメラのレンズ特性に合わせて歪補正を行った後、保存する。   Further, the image of the article photographed by the camera is stored after correcting distortion according to the lens characteristics of the camera.

本発明は、以上のような手段によって部材等の物品の組立て状況の確認に用いるので、次のような効果が得られる。   Since the present invention is used for confirming the assembly status of articles such as members by the means as described above, the following effects can be obtained.

(1)対象の部材等の物品を、3次元測定によるデジタルデータ化ではなく、カメラにより撮影した2次元デジタル画像をコンピュータ(タブレット)に取り込めばよいので、3次元CADデータとの重ね合わせのための前処理が、極めて簡単かつ迅速にできる。 (1) The object, such as a member, is not converted into digital data by three-dimensional measurement, but a two-dimensional digital image taken by a camera may be taken into a computer (tablet), so that it can be superimposed on three-dimensional CAD data. This pre-treatment is extremely simple and quick.

(2)2次元デジタル画像に、陰線処理済3次元CADデータを重ね合わせるに際しては、タブレットに付属のコントローラ操作で行うので、重なり具合の調整操作が極めて簡単であり、ITの専門知識が乏しい人でも短時間で操作が上手くできるようになる。 (2) When superimposing hidden line processed 3D CAD data on a 2D digital image, the controller attached to the tablet is used to adjust the overlap condition. However, it will be possible to operate successfully in a short time.

(3)タブレットを用いれば、現物のある場所でも組立て状況の確認作業ができるので、機動的かつ効率的である。 (3) If the tablet is used, the assembly status can be confirmed even at the actual location, so it is flexible and efficient.

(4)タブレットを用いて、その場で撮影した直後の対象物品の2次元デジタル画像そのものに、同物品の3次元CADデータをその場で重ね合わせる方式もあるが、その場合、その作業が終わるまで、次の画像に対する作業に取りかかれないという欠点がある。本発明では、事前に確認対象となる複数の物品を組立て状況確認したい任意角度から複数撮影し、2次元デジタル画像としてコンピュータに取り入れ保存し、適宜、確認対象画像を選択し、呼び出すことが可能なので、作業をする場所と時間が制約されないため、より合理的かつ効率的である。 (4) There is also a method of superimposing the 3D CAD data of the article on the spot on the 2D digital image itself of the target article immediately after being photographed on the spot using the tablet, but in that case, the work ends. Up to this point, there is a drawback that work on the next image cannot be started. In the present invention, it is possible to photograph a plurality of articles to be confirmed in advance from an arbitrary angle at which assembly status confirmation is desired, capture and store them in a computer as a two-dimensional digital image, and appropriately select and call the confirmation target image. Because it is not constrained where and time to work, it is more reasonable and efficient.

(5)対象部品のデジタルデータ化は2次元でよく、カメラやタブレットは市販品を使用でき、また、画像とCADモデルとを重ねる操作にかかるプログラムも既成のものを流用できるので、極めて安価である。 (5) Digitalization of target parts may be two-dimensional, and commercially available products can be used for cameras and tablets, and existing programs can be used to superimpose images and CAD models. is there.

(6)部材等の物品の組立て時に、人間の視覚による不具合の有無の発見が、短時間かつ簡便にできるので、製品のヒューマンエラーを含む不適合発生削減に寄与する。 (6) At the time of assembling an article such as a member, it is possible to discover the presence or absence of defects by human vision in a short time and easily, which contributes to the reduction of occurrence of nonconformity including human error of products.

(7)不適合が発生した場合の製品再製作に伴う経済的、時間的ロス回避に大いに貢献する。 (7) Significantly contributes to avoiding economic and time loss associated with product remanufacturing in the event of nonconformity.

本発明の装置の使用状況を示す模式図である。It is a schematic diagram which shows the use condition of the apparatus of this invention. 本発明の装置の構成と機能を示す図である。It is a figure which shows the structure and function of the apparatus of this invention. 本発明を使用して物品の組立て状況を確認する手順を示すフローチャートである。It is a flowchart which shows the procedure which confirms the assembly condition of articles | goods using this invention. 組立て状況の確認対象物の一例を示す斜視図であり、(a)は隠れて見えないはずの輪郭線も含めて表示したもの、(b)は隠れて見えないはずの輪郭線を非表示にしたものである。It is a perspective view which shows an example of the confirmation target object of an assembly condition, (a) displayed including the outline which should be hidden and cannot be seen, (b) does not display the outline which should be hidden and hidden. It is a thing. 図4に対応した対象物のソリッドモデルの陰線処理済3次元CADモデルである。(見えないはずの輪郭線も、細破線で表示)5 is a hidden line processed three-dimensional CAD model of a solid model of an object corresponding to FIG. 4. (Outline that should not be visible is also displayed with a thin broken line) 図4(b)と図5とを重ね合わせる操作途中の図である。(見えないはずの輪郭線は非表示)It is a figure in the middle of operation which superimposes FIG.4 (b) and FIG. (The outline that should not be visible is hidden.) 図4(b)と図5とを重ね合わせ完了後の図である。FIG. 6B is a diagram after completion of superposition of FIG.

図1は本発明の実施例であり、本発明の装置の使用状況を示す模式図である。物品10を撮影するカメラ11と、3次元CADデータに対する情報処理を行なうコンピュータであり物品10の画像を表示するタブレット12、およびカメラ11とタブレット12とを繋ぐコード13で構成される。   FIG. 1 is an example of the present invention, and is a schematic diagram showing a use situation of the apparatus of the present invention. A camera 11 for photographing the article 10, a computer that performs information processing on the three-dimensional CAD data, a tablet 12 that displays an image of the article 10, and a code 13 that connects the camera 11 and the tablet 12.

カメラ11は、画像がぶれないように三脚等にて固定しておき、物品10の特定視点(例えば、物品10の球体中心)に焦点を当てて撮影する。撮影された写真画像は、デジタル信号としてコード13を通してタブレット12に送信され、2次元デジタル画像データとして保存される。デジタル信号を無線で送信可能なカメラであれば、コード13は不要である。   The camera 11 is fixed by a tripod or the like so as not to blur the image, and is shot while focusing on a specific viewpoint of the article 10 (for example, the sphere center of the article 10). The photographed photographic image is transmitted as a digital signal to the tablet 12 through the code 13 and stored as two-dimensional digital image data. If the camera can transmit digital signals wirelessly, the code 13 is not necessary.

カメラ11が固定されているため、タブレット12のモニター画面の映像はぶれることはないので、タブレット12は三脚等で固定する必要はなく、作業者14の手持ちでもよい。   Since the image of the monitor screen of the tablet 12 is not blurred because the camera 11 is fixed, the tablet 12 does not need to be fixed with a tripod or the like, and may be held by the operator 14.

図2は本発明の装置の構成と機能を示す図であり、次の通りである。
(1)作業者14が、物品10の特定視点に焦点を当ててカメラ11で撮影する。
(2)撮影した2次元画像は、名前を付けてタブレット12の記憶装置に保存する。
FIG. 2 is a diagram showing the configuration and function of the apparatus of the present invention, and is as follows.
(1) The operator 14 takes a picture with the camera 11 while focusing on a specific viewpoint of the article 10.
(2) The captured two-dimensional image is named and stored in the storage device of the tablet 12.

(3)別途、物品の設計図からソリッドモデル(3次元CADデータ)を作成しておき、
(4)その3次元CADデータをタブレット12に入力して、変換プログラムによりワイヤーモデルに変換(陰線処理済3次元CADデータを作成)し、更に陰線処理を施す。
(5)作成された陰線処理済3次元CADデータはタブレット12の記憶装置に保存する。
(3) Separately, create a solid model (three-dimensional CAD data) from the design drawing of the article,
(4) The 3D CAD data is input to the tablet 12, converted into a wire model by a conversion program (creates 3D CAD data with hidden line processing), and further subjected to hidden line processing.
(5) The created hidden line processed three-dimensional CAD data is stored in the storage device of the tablet 12.

(6)既に(2)で保存済みの物品10の2次元画像データと、それに対応する(5)で保存した陰線処理済3次元CADデータとを呼び出して、物品10の画像データの特定視点に概ね合うように、前記陰線処理済3次元CADデータを、タブレットに付属のコントローラ12aを作業者14が操作(回転、移動、拡大、縮小)し、
(7)その操作情報(座標変換マトリクス、ファイル保管場所等)と共に管理ファイルとして、前記2次元画像データと同じ名前を付けてタブレット12の記憶装置に保存する。
(6) Recalling the two-dimensional image data of the article 10 already saved in (2) and the corresponding hidden-line processed three-dimensional CAD data saved in (5) to make a specific viewpoint of the image data of the article 10 The operator 14 operates (rotates, moves, enlarges, reduces) the controller 12a attached to the tablet so that the hidden line processed 3D CAD data is substantially matched.
(7) Along with the operation information (coordinate conversion matrix, file storage location, etc.), a management file is stored in the storage device of the tablet 12 with the same name as the two-dimensional image data.

(8)組立て状況を確認する際、物品10の任意の2次元画像データを、その都度、作業者14が(2)で保存済みの物品の2次元画像データファイルの中から選択し、それに対応する(7)で保存した陰線処理済3次元CADデータをコンピュータが自動的に呼び出して、タブレット12のモニター画面上で重ね合わせて表示する。   (8) When checking the assembly status, the operator 14 selects any two-dimensional image data of the article 10 from the two-dimensional image data file of the article stored in (2) each time, and responds to it. The computer automatically calls the hidden line processed three-dimensional CAD data stored in (7), and displays it superimposed on the monitor screen of the tablet 12.

(9)ここでモニター画面上に表示された前記陰線処理済3次元CADデータは、物品10の画像データの特定視点に概ね合うように設定しただけなので、前記物品10の2次元画像データとの重なり具合は、ずれが少し大きいため、重なり精度を上げる必要がある。そのため、前記タブレット12にはコントローラ12aが付属しており、作業者14は、物品10の画像データの特定視点を中心にして、前記コントローラ12aを操作(回転、移動、拡大、縮小)により微調整して、陰線処理済3次元CADデータの輪郭線が、物品10の輪郭と出来るだけ重なり合うようにして表示する。   (9) Here, the hidden line processed 3D CAD data displayed on the monitor screen is set so as to roughly match the specific viewpoint of the image data of the article 10. Since the degree of overlap is slightly larger, it is necessary to increase the overlap accuracy. Therefore, a controller 12a is attached to the tablet 12, and the operator 14 finely adjusts the controller 12a by operating (rotating, moving, enlarging, reducing) around the specific viewpoint of the image data of the article 10. Then, the contour line of the hidden line processed three-dimensional CAD data is displayed so as to overlap with the contour of the article 10 as much as possible.

以上が、本発明の物品の組立て状況情報の表示方法および装置の実施例である。従って、作業者14は、上記の重なり合った画像をモニター画面上で目視にて確認して、両者のどこかに問題になりそうなずれがないかを調べればよい。   The above is the embodiment of the method and apparatus for displaying the assembly status information of the article of the present invention. Therefore, the operator 14 only has to check the above-described overlapping images on the monitor screen to see if there is a shift that may cause a problem somewhere between them.

本発明を用いて部材等の組立て状況の確認をする手順を、図3に示すフローチャートの手順(1)〜(12)に沿って、図4の斜視図に示すような部材を例として説明する。図4の部材は、球体1と3枚のリブプレート2、3、4及びベースプレート5によって構成されており、球体1には2つの孔1a、リブプレート2には孔2aと2b、ベースプレート5には2つの孔5aが視認できる。なお、図4(a)では、隠れて見えないはずの輪郭線を細点線で表示している。   The procedure for confirming the assembly status of members and the like using the present invention will be described along the procedures (1) to (12) of the flowchart shown in FIG. 3, taking the members as shown in the perspective view of FIG. 4 as an example. . 4 includes a sphere 1, three rib plates 2, 3, 4, and a base plate 5. The sphere 1 has two holes 1 a, a rib plate 2 has holes 2 a and 2 b, and a base plate 5 has a base plate 5. Can visually recognize two holes 5a. In FIG. 4A, the outline that should be hidden and hidden is displayed as a thin dotted line.

手順(1):実物部材のパーツである球体1と3枚のリブプレート2、3、4及びベースプレート5を組立溶接にて、設計図の形状に組立てる。   Procedure (1): The sphere 1 which is a part of the real member, the three rib plates 2, 3, 4 and the base plate 5 are assembled into the shape of the design drawing by assembly welding.

手順(2):次に、手順(1)で仮組みされた部材を、図4(a)に対応した向きから特定視点(例えば、球体1の中心)を決めてデジタルカメラで撮影し、その2次元デジタル画像データをコンピュータ(以下、タブレットと読替える)に画像ファイルとして名前を付けて保存する。撮影された前記部材の画像は、図4(a)では細点線表示した輪郭線は見えないので、図4(b)のようになる。前記2次元デジタル画像データをタブレットに保存する際に、撮影された画像は、そのデジタルカメラのレンズ特性に合わせて歪補正を行う。   Procedure (2): Next, the member temporarily assembled in Procedure (1) is photographed with a digital camera by determining a specific viewpoint (for example, the center of the sphere 1) from the orientation corresponding to FIG. Two-dimensional digital image data is saved as an image file on a computer (hereinafter referred to as a tablet). The photographed image of the member is as shown in FIG. 4B because the outline indicated by the thin dotted line is not visible in FIG. When the two-dimensional digital image data is stored in the tablet, the captured image is subjected to distortion correction in accordance with the lens characteristics of the digital camera.

手順(1a):前記部材の設計図から、別途、現寸3次元CADソフトを使用して、この部材のソリッドモデル(3次元CADデータ)を作成する。   Procedure (1a): A solid model (three-dimensional CAD data) of this member is separately created from the design drawing of the member by using current size three-dimensional CAD software.

手順(2a):前記ソリッドモデルを線のみで表すワイヤーフレームモデルに変換して、図5に図示のように輪郭線6を抽出後、陰線処理を施し、その陰線処理済3次元CADデータをタブレットに保存する。
なお、図5において、細い点線は隠れて見えないはずの輪郭線を示している。
Step (2a): The solid model is converted into a wire frame model that represents only lines, and the contour line 6 is extracted as shown in FIG. 5, and then hidden line processing is performed. The hidden line processed three-dimensional CAD data is converted into a tablet. Save to.
In FIG. 5, a thin dotted line shows a contour line that should be hidden and hidden.

手順(3):手順(2)で保存された画像ファイルから、確認対象となる物品の画像、即ち本例では図4(b)を選定する。   Procedure (3): From the image file saved in the procedure (2), the image of the article to be confirmed, that is, FIG. 4B in this example is selected.

手順(4):手順(3)で選定した物品の画像である図4(b)の特定視点に概ね合うように、手順(2a)の陰線処理済3次元CADデータを呼び出し操作(回転、移動、拡大、縮小)し、その操作情報(座標変換マトリクス、ファイル保管場所等)と共に管理ファイルとしてタブレットに、手順(3)で選定した画像ファイルと同じ名前を付けて保存する。   Procedure (4): Call operation (rotation, movement) of the hidden line processed 3D CAD data of procedure (2a) so as to roughly match the specific viewpoint of FIG. 4B, which is an image of the article selected in procedure (3) , Enlarge, reduce), and store the operation information (coordinate conversion matrix, file storage location, etc.) as a management file on the tablet with the same name as the image file selected in step (3).

手順(5):物品の組立て状況を確認する際に、タブレットに保存された手順(2)の画像ファイルの中から対象とする画像(図4(b))を指定し、それと同じファイル名の陰線処理済3次元CADデータ(図5)を手順(4)の管理ファイルと共に、自動呼び出しする。この時、手順(4)で保存した陰線処理済3次元CADデータ(図5)は、図4(b)の画像の特定視点に概ね合っているものの、図6に図示のような不完全な重なり具合である。そこで、手順(3)で選定した前記物品の画像(図4(b))の視認できる輪郭線(リブや孔の縁線)と、その画像に対応させて操作して保存した手順(4)の陰線処理済3次元CADデータである図5に図示した輪郭線6の太い破線とが、出来るだけ精度よく重なるように、タブレットに付属のコントローラを操作(回転、移動、拡大、縮小)にて微調整して、図7のように、タブレットのモニター画面上に表示する。なお、図6、図7では、図5には表示されている細い破線は省略している。   Step (5): When checking the assembly status of the article, specify the target image (Fig. 4 (b)) from the image files of step (2) stored in the tablet, and use the same file name The hidden line processed 3D CAD data (FIG. 5) is automatically called together with the management file of the procedure (4). At this time, the hidden line processed three-dimensional CAD data (FIG. 5) stored in the procedure (4) generally matches the specific viewpoint of the image of FIG. 4B, but is incomplete as shown in FIG. It is the degree of overlap. Therefore, a visible outline (rib or hole edge) of the image of the article selected in the procedure (3) (FIG. 4 (b)), and a procedure (4) that is operated and stored corresponding to the image. By operating (rotating, moving, enlarging, reducing) the controller attached to the tablet so that the thick broken line of the contour line 6 shown in FIG. Fine-adjust and display on the monitor screen of the tablet as shown in FIG. 6 and 7, the thin broken line displayed in FIG. 5 is omitted.

手順(6):図7において、矢印Aで示す孔2bの位置が正規位置より下にずれていること、また、矢印Bで示すように、平面視(図示せず)におけるリブプレート3の角度が設計図とずれていることが確認される。図7で確認されたずれについては、仮組み段階のため手直し可能なので、修正ルートへ流し、手順1に戻す。   Step (6): In FIG. 7, the position of the hole 2b indicated by the arrow A is shifted below the normal position, and as indicated by the arrow B, the angle of the rib plate 3 in plan view (not shown). Is confirmed to deviate from the design drawing. The deviation confirmed in FIG. 7 can be corrected because it is a temporary assembly stage.

手順(7):仮組みに問題がなかった場合は、本溶接して部材の組立てを完了させる。   Procedure (7): When there is no problem in the temporary assembly, the main assembly is performed to complete the assembly of the members.

手順(8):仮組み時に問題が無かったとしても、本溶接の時に多少とも位置や角度にずれが発生する可能性があるので、組立てを完了後の部材についても、手順(2)と同様に、図4(a)に対応した向きからデジタルカメラで撮影し(図4(b))、撮影された画像の歪補正を行い、2次元デジタル画像データをタブレットに画像ファイルとして保存する。   Procedure (8): Even if there is no problem during temporary assembly, there is a possibility that the position and angle may be slightly shifted during the main welding. Therefore, the members after assembly are the same as in Procedure (2). Then, the image is taken with a digital camera from the direction corresponding to FIG. 4A (FIG. 4B), the distortion of the taken image is corrected, and the two-dimensional digital image data is stored in the tablet as an image file.

手順(9):手順(8)で保存された画像ファイルから、確認対象となる物品の画像、即ち本例では組立て完了後の図4(b)を選定する。   Step (9): From the image file saved in step (8), an image of the article to be confirmed, that is, in this example, FIG. 4B after completion of assembly is selected.

手順(10):手順(9)で選定した物品の画像である図4(b)の視点に合うように、手順(2a)の陰線処理済3次元CADデータを呼び出し操作(回転、移動、拡大、縮小)し、その操作情報(座標変換マトリクス、ファイル保管場所等)と共に管理ファイルとしてタブレットに、手順(9)で選定した画像ファイルと同じ名前を付けて保存する。   Procedure (10): Calling operation (rotation, movement, enlargement) of the hidden line processed 3D CAD data of procedure (2a) so as to match the viewpoint of FIG. 4B which is the image of the article selected in procedure (9) ), And the operation information (coordinate conversion matrix, file storage location, etc.) is stored as a management file on the tablet with the same name as the image file selected in step (9).

手順(11):物品の組立て状況を確認する際に、タブレットに保存された手順(9)の画像ファイルの中から対象とする画像(図4(b))を指定し、それと同じファイル名の陰線処理済3次元CADデータ(図5)を手順(10)の管理ファイルと共に、自動呼び出しする。この時、手順(4)で保存した陰線処理済3次元CADデータ(図5)は、図4(b)の画像の特定視点に概ね合っているものの、図6に図示のような不完全な重なり具合である。そこで、重ね合わせは、タブレットに付属のコントローラを作業者が操作して、前記3次元CADデータの輪郭線を回転、移動、拡大、縮小することにより微調整して行う。   Step (11): When confirming the assembly status of the article, the target image (FIG. 4B) is designated from the image files of step (9) stored in the tablet, and the same file name is used. The hidden line processed 3D CAD data (FIG. 5) is automatically called together with the management file of the procedure (10). At this time, the hidden line processed three-dimensional CAD data (FIG. 5) stored in the procedure (4) is generally suitable for the specific viewpoint of the image of FIG. 4B, but is incomplete as shown in FIG. It is the degree of overlap. Therefore, superposition is performed by fine adjustment by an operator operating a controller attached to the tablet to rotate, move, enlarge, and reduce the outline of the three-dimensional CAD data.

手順(12):手順(11)の重ね合わせ確認の結果、この部材を最終製品として組込むのに許容を超える程のずれが無ければ終了であるが、許容を超えるずれがあった場合は、判断が2つに分かれる。即ち、本溶接しているため、仮組みの時程には修正の可能性が限定されるものの、例えば、リブプレートの若干の角度誤差に対して加熱などによる矯正が許される場合には修正して手順(8)に戻す。そのような矯正も出来ない状態の場合は、部材そのものを再製作することになる。   Step (12): If the result of overlay confirmation in step (11) shows that there is no deviation exceeding the allowance for incorporating this member as a final product, the process is completed. Is divided into two. In other words, since the welding is performed, the possibility of correction is limited during the temporary assembly, but for example, if correction by heating is allowed for a slight angle error of the rib plate, the correction is made. Return to step (8). If such correction cannot be performed, the member itself is remanufactured.

以上の手順で使用するコンピュータにタブレットを用いているが、組立て作業場での移動が容易なので、機動的かつ効率的に組立て状況の確認作業ができて好適である。   Although a tablet is used as the computer used in the above procedure, it is preferable that the assembly status can be confirmed efficiently and efficiently because it can be easily moved in the assembly work place.

本発明は、従来方法では困難であった複雑な部材等の物品の組立て状況情報を、タブレットのモニター画面上に見易く表示でき、かつ、場所と時間に制約されることなく、簡便、迅速、機動的に実施することが出来るので、部材等の物品組立ての不適合発生防止とそれに伴う経済的、時間的ロス削減に貢献するところ大である。   The present invention can display information on the assembly status of articles such as complicated members, which has been difficult with the conventional method, on the monitor screen of the tablet in an easy-to-read manner, and is simple, quick, and mobile without being restricted by location and time. Therefore, it contributes to the prevention of non-conformity in the assembly of articles such as members and the reduction of economic and time loss associated therewith.

1:球体
1a:球体の孔
2、3、4:リブプレート
2a、2b:リブプレート2の孔
5:ベースプレート
5a:ベースプレート5の孔
6:部品のソリッドモデルの輪郭線
10:物品
11:カメラ
12タブレット
12a:コントローラ
13:コード
14:作業者
A、B:組立てのずれ位置
1: Sphere 1a: Sphere Hole 2, 3, 4: Rib Plate 2a, 2b: Hole in Rib Plate 2 5: Base Plate 5a: Hole in Base Plate 5 6: Outline of Solid Model of Part 10: Article 11: Camera 12 Tablet 12a: Controller 13: Code 14: Worker A, B: Deviation position of assembly

Claims (3)

作業場にてカメラで撮影された物品の2次元デジタル画像をコンピュータに取り込む2次元デジタル画像入力手段と、
前記2次元デジタル画像をモニター画面上に表示する2次元デジタル画像表示手段と、
記憶媒体または前記コンピュータに備えられた記憶手段に保存されている前記物品の3次元CADデータを呼び出し、前記モニター画面上で前記物品の2次元デジタル画像に重ね合わせて表示する3次元CADデータ呼出し手段と、
を備えた物品の組立て状況情報表示装置であって、
前記2次元デジタル画像入力手段から取り込んだ物品の2次元デジタル画像のデータファイルを保存する2次元デジタル画像ファイル記憶手段と、
前記物品のソリッドモデルの3次元CADデータをワイヤーフレームモデルに変換して輪郭線を抽出し、そのワイヤーフレームモデルに対して隠れて見えないはずの線を区別する陰線処理を施す陰線処理手段と、
前記陰線処理を施した陰線処理済3次元CADデータについて、比較対象とする前記物品の2次元デジタル画像と概ね同じ特定視点から見た情報を管理ファイルとして保存しておく管理ファイル記憶手段と、
確認対象とする前記2次元デジタル画像ファイル記憶手段に保存済みの前記物品の2次元デジタル画像のデータファイルを指定して、対応する前記陰線処理済3次元CADデータを自動呼出する陰線処理済3次元CADデータ呼出し手段と、
前記2次元デジタル画像のデータファイルと前記陰線処理済3次元CADデータによって前記モニター画面上に表示された画像の輪郭線の重なりのずれを、操作して微調整するためのコントローラと、
をさらに備えていることを特徴とする物品の組立て状況情報表示装置。
Two-dimensional digital image input means for importing into a computer a two-dimensional digital image of an article photographed by a camera at a work place;
Two-dimensional digital image display means for displaying the two-dimensional digital image on a monitor screen;
3D CAD data calling means for calling 3D CAD data of the article stored in a storage medium or a storage means provided in the computer and displaying the 3D CAD data superimposed on the 2D digital image of the article on the monitor screen When,
An assembly status information display device for an article comprising:
Two-dimensional digital image file storage means for storing a data file of a two-dimensional digital image of an article taken in from the two-dimensional digital image input means;
Hidden line processing means for converting the three-dimensional CAD data of the solid model of the article into a wire frame model, extracting a contour line, and performing a hidden line process for distinguishing lines that should be hidden from the wire frame model;
Management file storage means for storing, as a management file, information viewed from substantially the same specific viewpoint as the two-dimensional digital image of the article to be compared for the hidden line processed 3D CAD data subjected to the hidden line processing,
Hidden line processed 3D which designates a data file of the 2D digital image of the article stored in the 2D digital image file storage means to be confirmed and automatically calls the corresponding 3D CAD data which has been processed CAD data calling means;
A controller for manipulating and fine-tuning the deviation of the overlapping of the contour lines of the image displayed on the monitor screen by the data file of the two-dimensional digital image and the hidden line processed three-dimensional CAD data;
An assembly status information display device for an article, further comprising:
請求項1記載の物品の組立て状況情報表示装置において、前記物品の2次元デジタル画像を表示し、かつ前記物品の3次元CADデータを処理し自動的に輪郭線を抽出し、陰線処理して表示するプログラムを搭載したコンピュータは、前記陰線処理済3次元CADデータを操作するためのコントローラ付きのタブレットであり、前記物品の撮影に使用するカメラは、前記タブレットに付属したリアカメラ、もしくは前記タブレットと無線通信できる分離カメラであることを特徴とする物品の組立て状況情報表示装置。   2. The article assembly status information display device according to claim 1, wherein a two-dimensional digital image of the article is displayed, three-dimensional CAD data of the article is processed, contour lines are automatically extracted, hidden lines are processed and displayed. A computer having a controller for operating the hidden line processed three-dimensional CAD data, and a camera used for photographing the article is a rear camera attached to the tablet, or the tablet An assembly state information display device for articles, which is a separate camera capable of wireless communication. 請求項1または2記載の物品の組立て状況情報表示装置において、前記物品のソリッドモデルに対応する陰線処理済3次元CADデータは、前記2次元デジタル画像のデータファイルと同じファイル名で、または関連付けたファイル名で保存され、保存済みの前記2次元デジタル画像のデータファイルの中から組立て状況を確認したい物品の2次元デジタル画像のデータファイルが呼び出されると、自動的に同じファイル名で、または関連付けたファイル名で保存された陰線処理済3次元CADデータを呼び出す関連データ呼出し手段を備えていることを特徴とする物品の組立て状況情報表示装置。   3. The article assembly status information display device according to claim 1, wherein the hidden line processed three-dimensional CAD data corresponding to the solid model of the article is associated with the same file name as the data file of the two-dimensional digital image or associated with the data model. When the data file of the 2D digital image of the article for which the assembly status is to be confirmed is called out from the stored data file of the 2D digital image stored in the file name, it is automatically associated with the same file name or associated. An article assembly status information display device comprising related data calling means for calling hidden line processed three-dimensional CAD data stored under a file name.
JP2016192678A 2015-10-01 2016-09-30 Article assembling status information display device Pending JP2017068849A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015195619 2015-10-01
JP2015195619 2015-10-01

Publications (1)

Publication Number Publication Date
JP2017068849A true JP2017068849A (en) 2017-04-06

Family

ID=58494941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016192678A Pending JP2017068849A (en) 2015-10-01 2016-09-30 Article assembling status information display device

Country Status (1)

Country Link
JP (1) JP2017068849A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020176912A (en) * 2019-04-18 2020-10-29 株式会社Ihiインフラシステム Method for confirming member mounting position
US11145048B2 (en) 2019-07-24 2021-10-12 Fujitsu Limited Image processing apparatus, image processing method, and non-transitory computer-readable storage medium for storing program
US11176661B2 (en) 2018-10-30 2021-11-16 Fujitsu Limited Image processing apparatus and image processing method
CN114255331A (en) * 2021-12-10 2022-03-29 北京城市网邻信息技术有限公司 Information display method, device, equipment and storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218100A (en) * 1996-02-09 1997-08-19 Mitsubishi Heavy Ind Ltd Indication device of temperature distribution
JPH10162048A (en) * 1996-11-27 1998-06-19 Toshiba Corp Three-dimensional cad system
JPH11212528A (en) * 1998-01-28 1999-08-06 Taisei Corp Picture display method and system therefor
JP2005031045A (en) * 2003-07-11 2005-02-03 Olympus Corp Information presentation device and information presentation system
JP2008235504A (en) * 2007-03-20 2008-10-02 Mitsubishi Electric Corp Assembly inspection device
JP2009258386A (en) * 2008-04-16 2009-11-05 Asia Air Survey Co Ltd Optimum slanted picture providing method, system, and device
JP2010210585A (en) * 2009-03-12 2010-09-24 Omron Corp Model display method in three-dimensional visual sensor, and three-dimensional visual sensor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218100A (en) * 1996-02-09 1997-08-19 Mitsubishi Heavy Ind Ltd Indication device of temperature distribution
JPH10162048A (en) * 1996-11-27 1998-06-19 Toshiba Corp Three-dimensional cad system
JPH11212528A (en) * 1998-01-28 1999-08-06 Taisei Corp Picture display method and system therefor
JP2005031045A (en) * 2003-07-11 2005-02-03 Olympus Corp Information presentation device and information presentation system
JP2008235504A (en) * 2007-03-20 2008-10-02 Mitsubishi Electric Corp Assembly inspection device
JP2009258386A (en) * 2008-04-16 2009-11-05 Asia Air Survey Co Ltd Optimum slanted picture providing method, system, and device
JP2010210585A (en) * 2009-03-12 2010-09-24 Omron Corp Model display method in three-dimensional visual sensor, and three-dimensional visual sensor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176661B2 (en) 2018-10-30 2021-11-16 Fujitsu Limited Image processing apparatus and image processing method
JP2020176912A (en) * 2019-04-18 2020-10-29 株式会社Ihiインフラシステム Method for confirming member mounting position
US11145048B2 (en) 2019-07-24 2021-10-12 Fujitsu Limited Image processing apparatus, image processing method, and non-transitory computer-readable storage medium for storing program
CN114255331A (en) * 2021-12-10 2022-03-29 北京城市网邻信息技术有限公司 Information display method, device, equipment and storage medium

Similar Documents

Publication Publication Date Title
JP5580164B2 (en) Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program
JP6491574B2 (en) AR information display device
JP2017068849A (en) Article assembling status information display device
JP6516558B2 (en) Position information processing method
JP2011239361A (en) System and method for ar navigation and difference extraction for repeated photographing, and program thereof
JP2010219825A (en) Photographing device for three-dimensional measurement
JPWO2006004043A1 (en) Wide-field image input method and apparatus
WO2017094456A1 (en) Object inspection apparatus and inspection method
US20060008268A1 (en) Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method
JP2017162103A (en) Inspection work support system, inspection work support method, and inspection work support program
JP6207764B2 (en) Work support system, work support device, and work support method
JP2009269134A (en) Simulation device in visual inspection apparatus
JP2006513509A (en) Composite information projection
JP2009289046A (en) Operation support device and method using three-dimensional data
TW468055B (en) Method and device for controlling manipulator
JP5363878B2 (en) Stereo image photographing apparatus and method thereof
JPWO2017203796A1 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
JP2018054435A (en) Inspection device
JP7336253B2 (en) Installation method
KR102509346B1 (en) Corrective work support system
JP6658054B2 (en) Body part construction site determination system and construction site determination method
JP2007010419A (en) Three-dimensional shape of object verifying system
JP2014222410A (en) Portable display device and display program, and operation guide system
JP6789899B2 (en) Measuring device and operating method of measuring device
KR20170067023A (en) Apparatus and method for inspecting drawing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200421