JPH09319874A - Component retrieval device - Google Patents
Component retrieval deviceInfo
- Publication number
- JPH09319874A JPH09319874A JP13530096A JP13530096A JPH09319874A JP H09319874 A JPH09319874 A JP H09319874A JP 13530096 A JP13530096 A JP 13530096A JP 13530096 A JP13530096 A JP 13530096A JP H09319874 A JPH09319874 A JP H09319874A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- component
- shape
- unknown
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- General Factory Administration (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、部品の重量及び画
像を取り込むことによって得られた特徴量を基にして部
品の検索を実施する部品検索装置に係り、特に、修理作
業等において、修理するための交換部品を、壊れた部品
等の情報を基に多数の部品の中から推定し、数個以下の
部品候補に絞り込むことによって、交換部品を効率的に
選択可能な部品検索装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a parts search device for searching for parts based on the weight of parts and the feature amount obtained by capturing images, and particularly, to repairing parts in repair work. The present invention relates to a component search device capable of efficiently selecting a replacement component by estimating a replacement component from a large number of components on the basis of information such as a broken component and narrowing it down to a few or less component candidates.
【０００２】[0002]
【従来の技術】様々な部品で、なお且つ破損したものか
ら、元の部品を推定する場合、三次元的な画像特徴情報
を用いて行うのは、極めて困難である。従って、当面の
部品認識のために使う画像特徴量としては、二次元的な
画像情報を扱う範囲に限られる。2. Description of the Related Art When estimating an original part from various parts that have been damaged, it is extremely difficult to use three-dimensional image feature information. Therefore, the image feature amount used for the current part recognition is limited to the range in which two-dimensional image information is handled.
【０００３】二次元画像情報を用いて対象物の認識を行
う手法としては、パターンマッチングを用いた方法や、
人工知能（ＡＩ）技術を用いてルールベースで部品の認
識を行う方法や、ニューラルネットワークを応用した方
法が考えられる。As a method for recognizing an object using two-dimensional image information, a method using pattern matching,
A method of recognizing a part on a rule basis using an artificial intelligence (AI) technology and a method of applying a neural network are possible.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、故障部
品の場合、破損や汚れにより、取り込まれた二次元画像
は安定したものではなく、前記パターンマッチングによ
る方法では、特に壊れた部品を二次元画像とパターンマ
ッチングさせようとした場合、単にマッチング度を変更
しただけでは対象物の認識は困難である。又、部品が置
かれる状況もかなり変わるため、これをパターンマッチ
ングで認識しようとすると、回転に関するテンプレート
や典型的な壊れた部品のテンプレートを用意する等、情
報蓄積のために膨大な容量とマッチング演算のための膨
大な処理が必要となり、現実的でない。However, in the case of a defective part, the captured two-dimensional image is not stable due to breakage or dirt, and in the method by the pattern matching, the broken part is regarded as a two-dimensional image. When trying to perform pattern matching, it is difficult to recognize an object simply by changing the degree of matching. Also, the situation where parts are placed changes considerably, so if you try to recognize this by pattern matching, you will have to prepare a template for rotation and a template for typical broken parts, etc. Enormous amount of processing is required, which is not realistic.
【０００５】又、前記ルールベースによる方法では、ル
ールを作る上での基準となる特徴情報量として、どのよ
うなものを使うか明確な指針がなく、且つ、部品の破損
や汚れによって、ルールに使っていた情報が使えない状
況になったときに、どのように対応するか、極めて困難
な課題がある。In addition, in the rule-based method, there is no clear guideline as to what kind of characteristic information amount is used as a reference for making a rule, and there is no rule in the rule due to damage or stain of parts. There is an extremely difficult task of how to deal with the situation when the information that was used cannot be used.
【０００６】更に、前記ニューラルネットワークによる
方法では、学習サンプルとして様々な条件で取り込んだ
画像から得られた特徴情報を入力することによって学習
を進める必要がある。一般に、置き方の違いや破損の違
いによって異なる特徴量について、ニューラルネットワ
ークで学習を完成させるためには、かなりの量の学習サ
ンプルを用意する必要があるが、現実には多種類の部品
の中から検索するために、１つの部品についてさえも、
学習サンプルとして十分な数の破損したものを提供する
ことは困難である。更に、ニューラルネットワークを応
用したシステムは、本来の部品管理情報を蓄えるデータ
ベース機構との親和性も良くない。Further, in the method using the neural network, it is necessary to proceed with learning by inputting feature information obtained from images captured under various conditions as a learning sample. Generally, it is necessary to prepare a considerable amount of learning samples in order to complete learning with a neural network for features that differ depending on the placement and damage, but in reality, among many types of parts To retrieve from, even for a single part,
It is difficult to provide a sufficient number of broken samples as training samples. Furthermore, the system applying the neural network does not have good compatibility with the database mechanism that stores the original component management information.
【０００７】このように、パターンマッチングの方法、
ルールベースによる方法、ニューラルネットワークによ
る方法とも、今回対象としている、壊れた部品から元の
部品を推定することは、膨大な演算時間や事前の学習サ
ンプルの採取等、極めて困難な状況であった。Thus, the pattern matching method,
In both the rule-based method and the neural network method, it is extremely difficult to estimate the original part from the broken part, which is the target of this time, because of a huge amount of calculation time and acquisition of learning samples in advance.
【０００８】本発明は、前記従来の問題点を解消するべ
くなされたもので、完全に１つの対象部品を特定するの
ではなく、壊れた現物からでも、数百点以上ある部品か
ら数点に候補を絞り込むことによって、あとは容易に人
手で判断することにして、部品検索を容易にし、且つ、
実用的な時間で検索を可能とすることを課題とする。The present invention has been made in order to solve the above-mentioned conventional problems. Instead of completely specifying one target part, even if there are several hundred parts or more from a broken actual product, the number of parts can be reduced to several. By narrowing down the candidates, the rest can be easily judged manually, making it easier to search for parts, and
The task is to be able to search in a practical time.
【０００９】[0009]
【課題を解決するための手段】本発明は、前記課題を解
決するべくなされたもので、部品検索装置において、未
知部品の重量を測定する手段と、未知部品の画像を入力
する手段と、該入力画像の形状特徴量を抽出する手段
と、未知部品の破損の程度を示す破損パラメータを入力
する手段と、検索対象となる各部品の重量や画像の二次
元形状特徴量が、基準特徴量としてデータ登録された基
準特徴量記憶手段と、各部品の壊れ易さや、壊れたとき
の特徴量の保存性や、付属部品の多寡による部品の再現
性を評価するための認識パラメータが記憶されている認
識パラメータ記憶手段と、前記基準特徴量と認識パラメ
ータ及び破損パラメータから、各部品の特徴量のばらつ
き範囲を求める手段と、未知部品の特徴量が、前記特徴
量のばらつき範囲に入っている検索対象部品を候補とし
て抽出する手段とを備えることにより、前記課題を解決
したものである。SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and in a parts retrieval apparatus, means for measuring the weight of an unknown part, means for inputting an image of an unknown part, and The means for extracting the shape feature amount of the input image, the means for inputting the damage parameter indicating the degree of damage of the unknown part, the weight of each part to be searched and the two-dimensional shape feature amount of the image are used as the reference feature amount. A reference feature amount storage means in which data is registered and a recognition parameter for evaluating the fragility of each component, the storability of the feature amount when broken, and the reproducibility of the component due to the number of attached components are stored. Recognition parameter storage means, means for obtaining the variation range of the feature amount of each component from the reference feature amount, the recognition parameter, and the damage parameter, and the feature amount of the unknown component within the variation range of the feature amount. By providing a means for extracting search target part are I as a candidate is obtained by solving the above problems.
【００１０】又、前記入力画像の形状特徴量として、シ
ルエット画像の形状特徴量を用いることによって、部品
の三次元的な情報により特徴量が変わって検索が複雑に
なるのを防ぐようにしたものである。Further, by using the shape feature amount of the silhouette image as the shape feature amount of the input image, it is possible to prevent the search from becoming complicated by changing the feature amount due to the three-dimensional information of the parts. Is.
【００１１】又、前記破損パラメータとして、重量と形
状特徴量の両方の破損パラメータを用いるようにして、
破損状況を的確に表わせるようにしたものである。Further, as the damage parameters, both damage parameters of weight and shape feature quantity are used,
It is designed so that the damage status can be accurately expressed.
【００１２】更に、各部品の形状特徴量として、１つの
部品について、安定したいくつかの異なる置き方につい
て画像入力を行い、その形状特徴量を計測して、各置き
方毎に、その部品の形状特徴量としてデータ登録してお
くことにより、検索対象部品の置き方が異なった場合に
も、あるいは壊れた部品の場合でも、元の部品の推定が
容易となり、部品の絞り込みが容易となるようにしたも
のである。Further, as the shape feature amount of each part, images are input for several stable placements of one part, the shape feature amount is measured, and the shape feature amount of each part is changed. By registering data as the shape feature quantity, it becomes easier to estimate the original parts and to narrow down the parts even if the placement of the search target parts is different or the parts are broken. It is the one.
【００１３】本発明においては、未知の部品に対して、
重量と画像の二次元的な形状特徴量を測定すると共に、
未知部品の破損状況を表わす程度を、例えば重量、形状
特徴量の各々について、重量破損率、形状破損率として
入力する。In the present invention, for unknown parts,
While measuring the two-dimensional shape feature amount of weight and image,
The degree of the damage status of the unknown part is input as the weight damage ratio and the shape damage ratio for each of the weight and the shape feature amount.
【００１４】一方、検索対象とする各部品については、
重量並びに、例えば異なる置き方で撮影した二次元画像
から抽出した形状特徴量を、基準特徴量としてデータ登
録し、又、各部品に対して、その壊れ易さや、壊れたと
きの特徴量の保存性や、付属部品の多寡による部品の再
現性等を評価するための認識パラメータを記憶してお
く。On the other hand, for each part to be searched,
The weight and, for example, shape feature amounts extracted from two-dimensional images taken in different placements are registered as reference feature amounts, and the fragility of each part and the feature amount when it is broken are saved. And recognition parameters for evaluating the reproducibility of parts and the reproducibility of parts due to the number of attached parts are stored.
【００１５】部品検索に際しては、前記破損パラメータ
と認識パラメータの情報を基にして、前記基準特徴量の
ばらつき範囲を計算し、未知部品の特徴量が、前記特徴
量のばらつき範囲に入っている検索対象部品を、目的と
する検索対象部品の候補とする。In the part search, the variation range of the reference feature quantity is calculated based on the information of the damage parameter and the recognition parameter, and the feature quantity of the unknown part is searched within the variation range of the feature quantity. The target parts are candidates for the target search target parts.
【００１６】前記認識パラメータとしては、各部品の特
徴から、部品毎の材質、割れ方、画像入力時の影の付き
方、部品の再現性等のパラメータを用いて、各部品の壊
れ易さや、壊れたときの特徴量の保存性、付属部品の多
寡による部品の再現性等について評価する。As the recognition parameters, parameters such as material of each part, how to crack, how to cast a shadow when inputting an image, reproducibility of the part, etc. are used from the characteristics of each part, and the fragility of each part, Evaluate the storability of features when broken, and the reproducibility of parts due to the amount of attached parts.
【００１７】前記二次元画像の形状特徴量としては、例
えば、面積、周囲長、円度、オイラー数、図形最大長、
図形最小幅、包絡周囲長等を用いる。As the shape feature amount of the two-dimensional image, for example, area, perimeter, circularity, Euler number, maximum figure length,
The figure minimum width, envelope perimeter, etc. are used.
【００１８】前記特徴量のばらつき範囲の推定に際して
は、例えば次のようなパラメータを用いて、各部品の各
置き方に対して、各特徴量がどの程度ばらつくか、ばら
つきの絶対量Ｄijk を次式により推定することによって
行う。In estimating the variation range of the feature quantity, for example, the following parameters are used to find out how much each feature quantity varies for each placement of each component and the absolute amount of variation Dijk. It is performed by estimating with a formula.
【００１９】 Ｄijk ＝ｆ（基準特徴量、重量破損パラメータ、形状破損パラメータ、 認識パラメータ１、・・・認識パラメータｎ） …（１） ここで、基準特徴量：部品名称Ｐｉ（ｉは部品番号）に
ついて、その置き方ｊでの各特徴量ｋ（重量、面積、周
囲長、円度、オイラー数、図形最大長、図形最小幅、包
絡周囲長、・・・） 重量破損パラメータ：重量的に破損した場合の推定値 形状破損パラメータ：形状的に破損した場合の推定値Dijk = f (reference feature amount, weight damage parameter, shape damage parameter, recognition parameter 1, ... Recognition parameter n) (1) where, reference feature amount: part name Pi (i is a part number) For each of the features j in the placement j (weight, area, perimeter, circularity, Euler number, figure maximum length, figure minimum width, envelope perimeter, ...) Weight damage parameter: weight damage Estimated value when the shape is damaged Parameter: Estimated value when the shape is damaged
【００２０】この推定式（１）では、ある程度以上破損
が大きくなっている場合、即ち、形状の保存性が大きく
損なわれているときには、非線形的に特徴量範囲を広げ
る（即ち、Ｄijk を大きくする）か、あるいは、判定す
るための特徴量として採用しないことによって、破損時
に部品推定を誤ることを防ぐような推定を行うことにす
ることにより、上記の壊れた部品からの推定を可能とす
ることができる。In this estimation formula (1), when the damage is large to some extent, that is, when the shape preservation property is greatly impaired, the feature amount range is expanded nonlinearly (that is, Dijk is increased). ) Or, by not adopting it as a feature amount for judgment, it is possible to estimate from the above broken parts by making an estimate that will prevent erroneous part estimation at the time of damage. You can
【００２１】なお、前記破損パラメータを保存率に置き
換えて、（１）の評価式を変更しても良い。The evaluation parameter of (1) may be changed by replacing the damage parameter with a storage rate.
【００２２】[0022]
【発明の実施の形態】以下図面を参照して、本発明の実
施形態を詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described in detail below with reference to the drawings.
【００２３】図１は、本発明に係る部品検索装置の実施
形態の全体構成を示すブロック線図である。FIG. 1 is a block diagram showing the overall construction of an embodiment of a parts retrieval apparatus according to the present invention.
【００２４】図１において、１０は、部品の重量を測定
するための重量測定装置、１２は、部品のシルエット画
像を入力するためのテレビ（ＴＶ）カメラ、１４は、該
ＴＶカメラ１２から出力されるアナログ映像信号をデジ
タル画像データに変換するための画像入力部、１６は、
該画像入力部１４から入力された画像データを一時的に
保存するための画像記憶メモリ、１８は、該画像記憶メ
モリ１６に保存された画像データから二次元的な形状特
徴量を抽出するための形状特徴量抽出部、２０は、前記
重量測定器１０によって測定された重量データと前記形
状特徴量抽出部１８で抽出された形状特徴量を記憶する
ための特徴量記憶メモリである。一方、この特徴量記憶
メモリ２０に記憶された特徴量のうち、予め部品名称が
分かっている部品について、各部品のいくつかの安定し
た置き方で入力した画像の特徴量と重量からなる基準特
徴量が、テーブル化されて基準特徴量テーブル２２に記
憶されている。In FIG. 1, 10 is a weight measuring device for measuring the weight of a component, 12 is a television (TV) camera for inputting a silhouette image of the component, and 14 is an output from the TV camera 12. An image input unit for converting an analog video signal to digital image data,
An image storage memory 18 for temporarily storing the image data input from the image input unit 14, and 18 for extracting a two-dimensional shape feature amount from the image data stored in the image storage memory 16. The shape feature amount extraction unit 20 is a feature amount storage memory for storing the weight data measured by the weight measuring device 10 and the shape feature amount extracted by the shape feature amount extraction unit 18. On the other hand, of the feature quantities stored in the feature quantity storage memory 20, for the parts whose part names are known in advance, the reference feature consisting of the feature quantity and the weight of the image input in some stable placement of each part. The quantities are tabulated and stored in the reference feature quantity table 22.
【００２５】この基準特徴量テーブル２２の例を図２に
示す。図２において、Ｐ0 〜ＰN は、Ｎ個の部品の部品
名称、１〜ｍは、各部品の置き方の種類、Ｙ0 〜Ｙn
は、ｎ個の特徴量（例えばＹ0 は重量、Ｙ1 〜Ｙn は形
状特徴量）、ｙijk は、部品Ｐｉの置き方ｊに対する特
徴量Ｙｋの基準値（標準値）である。An example of the reference feature amount table 22 is shown in FIG. In FIG. 2, P0 to PN are part names of N parts, 1 to m are types of placement of each part, and Y0 to Yn.
Is a feature quantity of n pieces (for example, Y0 is a weight, Y1 to Yn are shape feature quantities), and y ijk is a reference value (standard value) of the feature quantity Yk for the placement j of the component Pi.
【００２６】又、図１の３０は、未知部品の破損の程度
を示す破損パラメータや各部品の壊れ易さや、壊れたと
きの特徴量の保存性や、１つの部品の構成要素の多寡に
よる部品の再現性を評価するための認識パラメータを入
力するためのデータ入力装置であり、該データ入力装置
３０によってパラメータ入力部３２に入力された認識パ
ラメータは、壊れ易い部品とそうでないもの、いくつか
の小さな部品が集まって構成された部品と、それ１つだ
けで構成された部品等によって、破損度合の影響の受け
方、取り外した際の基本特徴量にたいするばらつきへの
異なる寄与度を表わすためのパラメータとして、認識パ
ラメータテーブル３４に登録される。Reference numeral 30 in FIG. 1 is a damage parameter indicating the degree of damage to an unknown part, the fragility of each part, the storability of the feature quantity when broken, and the part due to the large number of components of one part. Is a data input device for inputting a recognition parameter for evaluating the reproducibility of, and the recognition parameters input to the parameter input unit 32 by the data input device 30 include fragile parts and those which are not. As a parameter for expressing the influence of the degree of damage and the different contributions to the variation in the basic feature amount when removed, depending on the component composed of small components and the component composed of only one component. , Are registered in the recognition parameter table 34.
【００２７】この認識パラメータを用いることによっ
て、プラスチック部品と金属製部品等、特徴量の保存状
況の差を考慮した特徴量のばらつき範囲が計算可能とな
る。この認識パラメータは、扱う部品の種類や対象によ
って、適宜、適切なパラメータを選び、データ入力装置
３０で入力する。これらの選ばれたパラメータに対する
データ登録は、データ入力装置３０によって、各部品
毎、各置き方毎に行われ、登録されたデータは、部品毎
に認識パラメータテーブル３４に保存される。By using this recognition parameter, it is possible to calculate the variation range of the feature amount in consideration of the difference in the storage state of the feature amount such as plastic parts and metal parts. As the recognition parameter, an appropriate parameter is appropriately selected according to the type of component to be handled and the target, and is input by the data input device 30. Data registration for these selected parameters is performed by the data input device 30 for each component and for each placement, and the registered data is stored in the recognition parameter table 34 for each component.
【００２８】この認識パラメータテーブル３４の例を図
３に示す。図３において、ｑijk は、各部品Ｐｉの置き
方ｊに対する特徴量（ばらつき）範囲推定パラメータＱ
ｋの値である。An example of the recognition parameter table 34 is shown in FIG. In FIG. 3, q ijk is a feature quantity (variation) range estimation parameter Q with respect to the placement j of each component Pi.
It is the value of k.
【００２９】本実施形態では、実際の破損した部品から
元の正常な部品を推測する際に、より正確な推論をする
ために、破損した部品の破損の程度を示す破損パラメー
タを同じくデータ入力装置３０によって入力するように
している。この破損状態に関しては、重量の破損と形状
の破損によって異なるので、それぞれ独立させて入力す
るのが望ましい。又、形状破損しているものでは、未知
部品の画像を入力をする際に、極力形状の破損が少なく
見えるような置き方をすることによって、特徴量のばら
つき範囲の計算の誤差を低く抑えることが可能となる。In the present embodiment, when estimating the original normal part from the actual damaged part, in order to make a more accurate inference, the damage parameter indicating the degree of damage of the damaged part is also set in the data input device. I am trying to input by 30. It is desirable to input this damage state independently because it depends on the weight damage and the shape damage. Also, in the case of a shape-damaged object, when inputting an image of an unknown part, by placing it so that the shape damage is seen as little as possible, the error in the calculation of the variation range of the feature amount can be suppressed to a low level. Is possible.
【００３０】特徴量範囲計算部３６は、前記基準特徴量
テーブル２２から入力される基準特徴量と、データ入力
装置３０から入力される認識パラメータ及び破損パラメ
ータを用いて、各部品の置き方毎に特徴量が変動し得る
範囲を計算し、特徴量の最小値と最大値を含む特徴量範
囲テーブル３８に入力する。The feature amount range calculation unit 36 uses the reference feature amount input from the reference feature amount table 22 and the recognition parameters and damage parameters input from the data input device 30 for each placement of each component. A range in which the feature amount can change is calculated and input to the feature amount range table 38 including the minimum value and the maximum value of the feature amount.
【００３１】図４に、特徴量範囲テーブル３８の例を示
す。図４において、ａijk は、部品Ｐｉの置き方ｊのと
きの基準特徴量Ｙｋから求められる最小値、ｂijk は、
部品Ｐｉの置き方ｊのときの基準特徴量Ｙｋから求めら
れる最大値である。FIG. 4 shows an example of the feature amount range table 38. In FIG. 4, a ijk is the minimum value obtained from the reference feature value Yk when the component Pi is placed j, and b ijk is
It is the maximum value obtained from the reference feature amount Yk when the component Pi is placed j.
【００３２】図４における特徴量の最小値ａijk と最大
値ｂijk は、次式によって計算される。The minimum value a ijk and the maximum value b ijk of the feature amount in FIG. 4 are calculated by the following equation.
【００３３】ａijk ＝ｙijk −Ｄijk …（２） ｂijk ＝ｙijk ＋Ｄijk …（３）A ijk = y ijk -Dijk (2) b ijk = y ijk + Dijk (3)
【００３４】ここで、ｙijk は、部品Ｐｉの置き方ｊに
対する特徴量Ｙｋの基準値、Ｄijkは（１）式による計
算値である。Here, y ijk is a reference value of the feature amount Yk for the placement j of the component Pi, and Dijk is a calculated value by the equation (1).
【００３５】未知部品の検索に際しては、まず未知部品
全体（バラバラに破損している場合には可能な範囲で集
めたもの）の重量を重量測定装置１０で測定すると共
に、形状破損している場合には、当該部品の安定した置
き方のうちで、一番の形状の破損が少なく見える置き方
をして、ＴＶカメラ１２により画像信号を入力し、形状
特徴量抽出部１８で形状特徴量を抽出する。特徴量記憶
メモリ２０に記憶された未知部品の特徴量は、対象範囲
部品抽出部４０に入力される。When searching for an unknown part, first, the weight of the entire unknown part (collected within a possible range when the parts are broken apart) is measured by the weight measuring device 10, and when the shape is broken. Among the stable placements of the parts, the placement is such that the shape of the part looks like the least damage, the image signal is input by the TV camera 12, and the shape feature amount is extracted by the shape feature amount extraction unit 18. Extract. The feature amount of the unknown component stored in the feature amount storage memory 20 is input to the target range component extraction unit 40.
【００３６】今回の未知部品の特徴量は、特徴量範囲計
算部３６における特徴量のばらつき範囲の計算が適切に
行われていれば、特徴量範囲テーブル３８に記憶され
た、該当する部品の特徴量のばらつき範囲の中に含まれ
ることになる。従って、対象範囲部品抽出部４０では、
当該未知部品の各特徴量が、特徴量範囲テーブル３８の
各特徴量のばらつき範囲内に入っているか否か判定す
る。具体的には、未知の部品Ｘの各特徴量をｘk （例え
ばｘ0 は未知部品の重量、ｘ1 〜ｘn は未知部品の形状
特徴量）とすると、全てのｋ＝０〜ｎに対して、図４に
示す各特徴量に対して、 ａijk ＜ｘk ＜ｂijk を満たす（ｉ，ｊ）の組があれば、部品Ｐｉをその候補
として選択する。If the calculation of the variation range of the feature amount in the feature amount range calculation unit 36 is appropriately performed, the feature amount of the unknown component of this time is the feature of the corresponding component stored in the feature amount range table 38. It will be included in the variation range of quantity. Therefore, in the target range component extraction unit 40,
It is determined whether each feature amount of the unknown component is within the variation range of each feature amount in the feature amount range table 38. Specifically, if each feature quantity of the unknown part X is x k (for example, x 0 is the weight of the unknown part and x 1 to x n are shape feature quantities of the unknown part), all k = 0 to n are set. On the other hand, if there is a set of (i, j) satisfying a ijk <x k <b ijk for each feature amount shown in FIG. 4, the component Pi is selected as the candidate.
【００３７】当該未知部品の候補の抽出結果は、抽出結
果登録テーブル４２に保存し、必要に応じて検索結果出
力装置４４を用いて出力する。The extraction result of the unknown part candidate is stored in the extraction result registration table 42 and is output using the search result output device 44 as needed.
【００３８】本発明方法により推定される部品は、必ず
しも１個に特定されないが、数百の部品から数個の部品
の候補の抽出が可能となるため、最終的な判定を人間が
容易に行うことができる。The number of parts estimated by the method of the present invention is not necessarily limited to one, but it is possible to extract candidates of several parts from hundreds of parts, so that a human can easily make the final judgment. be able to.
【００３９】本実施形態においては、図２乃至図４から
明らかな如く、各テーブルは、各部品の置き方パターン
に対応した関係データベース構造によるデータ記憶構造
を有している。一般に、部品検索装置における本来の目
的は、部品の管理情報、属性データの管理あるいは画像
データとの関連付けによる管理にあるので、従来一般的
に用いられている関係データベースエンジンの上に、容
易に本発明に係る部品検索システムを構築することがで
きる。なお、本発明による部品検索システムを、従来の
関係データベースエンジンとは独立して構築することも
可能である。In this embodiment, as is clear from FIGS. 2 to 4, each table has a data storage structure based on a relational database structure corresponding to the placement pattern of each component. In general, the original purpose of a parts search device is to manage parts management information, attribute data, or management by associating with image data, so it is easy to use a relational database engine that has been commonly used in the past. A parts search system according to the invention can be constructed. The parts search system according to the present invention can be constructed independently of the conventional relational database engine.
【００４０】又、本実施形態においては、ＴＶカメラ１
２から、直接、２次元のシルエット画像を取り込むよう
にしているので、処理が簡単である。なお、通常の２次
元画像として取り込んだ後、シルエット画像化すること
も可能である。Further, in the present embodiment, the TV camera 1
Since the two-dimensional silhouette image is directly captured from 2, the process is simple. It should be noted that it is also possible to make a silhouette image after capturing it as a normal two-dimensional image.
【００４１】[0041]
【実施例】図１に示す機能を具体的に実現するハードウ
ェアとしては、図５に示す第１実施例のように、ＴＶカ
メラ１２からの映像信号を入力して、形状特徴量を抽出
する、本体からは独立した画像処理装置５０と、入力パ
ラメータを入力するためのデータ入力装置３０としての
キーボード５４と、候補部品リスト等を表示するための
モニタ５６と、中央演算装置（図示省略）、データ記憶
のための磁気ディスク装置等の大容量二次記憶装置（図
示省略）を含むエンジニアリングワークステーション
（ＥＷＳ）あるいはパーソナルコンピュータ（パソコ
ン）から構成され、図１の特徴量記憶メモリ２０、基準
特徴量テーブル２２、パラメータ入力部３２、認識パラ
メータテーブル３４、特徴量範囲計算部３６、特徴量範
囲テーブル３８、対象範囲部品抽出部４０、抽出結果登
録テーブル４２及び検索結果出力装置４４の機能を有す
るコンピュータ５２と、を用いて構成することができ
る。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS As hardware for specifically realizing the function shown in FIG. 1, as in the first embodiment shown in FIG. 5, a video signal from a TV camera 12 is input to extract a shape feature amount. , An image processing device 50 independent of the main body, a keyboard 54 as a data input device 30 for inputting input parameters, a monitor 56 for displaying a candidate parts list and the like, a central processing unit (not shown), It is composed of an engineering workstation (EWS) or a personal computer (personal computer) including a large-capacity secondary storage device (not shown) such as a magnetic disk device for data storage. Table 22, parameter input unit 32, recognition parameter table 34, feature amount range calculation unit 36, feature amount range table 38, target Surrounding portion product extraction unit 40, a computer 52 having the function of the extraction result registration table 42 and the search result output unit 44 may be configured with.
【００４２】あるいは、図６に示す第２実施例のよう
に、コンピュータ内に、図１の画像入力部１４及び画像
記憶メモリ１６を実現するための画像キャプチャボード
を含むコンピュータ５８を用い、形状特徴量抽出は、当
該コンピュータ５８内でソフトウェアによって行うよう
にすることも可能である。Alternatively, as in the second embodiment shown in FIG. 6, a computer 58 including an image capture board for realizing the image input unit 14 and the image storage memory 16 of FIG. The quantity extraction may be performed by software in the computer 58.
【００４３】本発明に係る部品検索装置は、専用のハー
ドウェアで構成されたものに限定されず、必要な制御プ
ログラムを保存した、磁気ディスクや光磁気ディスク等
のリムーバブルメディアを用いて、汎用のコンピュータ
のハードディスクにインストールすることにより、汎用
のコンピュータを用いて本発明を実施することも可能で
ある。The component retrieval apparatus according to the present invention is not limited to one constituted by dedicated hardware, but a general-purpose device using a removable medium such as a magnetic disk or a magneto-optical disk storing a necessary control program. It is also possible to implement the present invention using a general-purpose computer by installing it in the hard disk of the computer.
【００４４】[0044]
【発明の効果】本発明によれば、従来の画像認識の手法
や、エキスパートシステム、ニューラルネットワークの
手法等では、演算時間や学習サンプル獲得の問題で不可
能であった、壊れた部品を基に数百個以上からなる元の
部品から数個程度の候補を抽出することが可能となる。According to the present invention, the conventional image recognition method, expert system, neural network method, etc. are based on broken parts, which were impossible due to the problems of calculation time and learning sample acquisition. It is possible to extract a few candidates from the original component consisting of hundreds or more.
【００４５】更に、これを実現するために用いた、基準
部品の特徴データ、認識パラメータ、特徴量範囲計算テ
ーブル等が、本来の部品管理で管理される部品データの
関係データベースシステムとの親和性が高く、システム
構成の効率も良い。Further, the characteristic data of the reference parts, the recognition parameters, the characteristic amount range calculation table, etc. used for realizing this are compatible with the relational database system of the part data managed by the original part management. High and efficient system configuration.
【図１】本発明に係る部品検索装置の実施形態の全体構
成を示すブロック線図FIG. 1 is a block diagram showing an overall configuration of an embodiment of a parts search device according to the present invention.
【図２】前記実施形態で用いられている基準特徴テーブ
ルの例を示す図表FIG. 2 is a diagram showing an example of a reference feature table used in the embodiment.
【図３】同じく認識パラメータテーブルの例を示す図表FIG. 3 is a diagram showing an example of a recognition parameter table.
【図４】同じく特徴量範囲テーブルの例を示す図表FIG. 4 is a diagram showing an example of a feature amount range table.
【図５】前記実施形態を具体的に実現するためのハード
ウェア構成の第１実施例を示すブロック線図FIG. 5 is a block diagram showing a first example of a hardware configuration for specifically implementing the embodiment.
【図６】同じくハードウェア構成の第２実施例を示すブ
ロック線図FIG. 6 is a block diagram showing a second embodiment of the same hardware configuration.
１０…重量測定装置 １２…テレビ（ＴＶ）カメラ １４…画像入力部 １６…画像記憶メモリ １８…形状特徴量抽出部 ２０…特徴量記憶メモリ ２２…基準特徴量テーブル ３０…データ入力装置 ３２…パラメータ入力部 ３４…認識パラメータテーブル ３６…特徴量範囲計算部 ３８…特徴量範囲テーブル ４０…対象範囲部品抽出部 ４２…抽出結果登録テーブル ４４…計算結果出力装置 ５０…画像処理装置 ５２、５８…コンピュータ ５４…キーボード ５６…モニタ 10 ... Weight measuring device 12 ... Television (TV) camera 14 ... Image input unit 16 ... Image storage memory 18 ... Shape feature amount extraction unit 20 ... Feature amount storage memory 22 ... Reference feature amount table 30 ... Data input device 32 ... Parameter input Part 34 ... Recognition parameter table 36 ... Feature amount range calculation unit 38 ... Feature amount range table 40 ... Target range component extraction unit 42 ... Extraction result registration table 44 ... Calculation result output device 50 ... Image processing device 52, 58 ... Computer 54 ... Keyboard 56 ... Monitor
Claims (4)
手段と、 検索対象となる各部品の重量や画像の二次元形状特徴量
が、基準特徴量としてデータ登録された基準特徴量記憶
手段と、 各部品の壊れ易さや、壊れたときの特徴量の保存性や、
付属部品の多寡による部品の再現性を評価するための認
識パラメータが記憶されている認識パラメータ記憶手段
と、 前記基準特徴量と認識パラメータ及び破損パラメータか
ら、各部品の特徴量のばらつき範囲を求める手段と、 未知部品の特徴量が、前記特徴量のばらつき範囲に入っ
ている検索対象部品を候補として抽出する手段と、 を備えたことを特徴とする部品検索装置。1. A means for measuring the weight of an unknown part, a means for inputting an image of an unknown part, a means for extracting a shape feature amount of the input image, and a damage parameter indicating the degree of damage of the unknown part. Means, the weight of each part to be searched and the two-dimensional shape feature amount of the image, the reference feature amount storage means in which data is registered as the reference feature amount, the fragility of each component, and the feature amount when broken. Storability of
Recognition parameter storage means for storing recognition parameters for evaluating the reproducibility of parts due to the amount of attached parts; and means for obtaining a variation range of feature quantities of each part from the reference feature quantity, recognition parameters and damage parameters And a means for extracting, as a candidate, a search target component in which the feature amount of the unknown component is within the variation range of the feature amount, a component search apparatus comprising:
徴量として、シルエット画像の形状特徴量を用いること
を特徴とする部品検索装置。2. The component search device according to claim 1, wherein the shape feature amount of the silhouette image is used as the shape feature amount of the input image.
して、重量と形状特徴量の両方の破損パラメータを用い
ることを特徴とする部品検索装置。3. The parts retrieval device according to claim 1, wherein both the weight and the shape feature amount of the damage parameters are used as the damage parameters.
が、各部品の安定した複数の置き方毎にデータ登録され
ていることを特徴とする部品検索装置。4. The component retrieval device according to claim 1, wherein the shape feature amount is registered in data for each of a plurality of stable placements of each component.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13530096A JPH09319874A (en) | 1996-05-29 | 1996-05-29 | Component retrieval device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13530096A JPH09319874A (en) | 1996-05-29 | 1996-05-29 | Component retrieval device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09319874A true JPH09319874A (en) | 1997-12-12 |
Family
ID=15148490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13530096A Withdrawn JPH09319874A (en) | 1996-05-29 | 1996-05-29 | Component retrieval device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09319874A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006512653A (en) * | 2002-12-30 | 2006-04-13 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | Data search method and apparatus |
| JP2012043112A (en) * | 2010-08-18 | 2012-03-01 | Disco Abrasive Syst Ltd | Component management method |
| JP2016066125A (en) * | 2014-09-22 | 2016-04-28 | カシオ計算機株式会社 | Information retrieval system, measurement information acquisition terminal, image information acquisition terminal, retrieval server, information retrieval method, and program |
-
1996
- 1996-05-29 JP JP13530096A patent/JPH09319874A/en not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006512653A (en) * | 2002-12-30 | 2006-04-13 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | Data search method and apparatus |
| JP2012043112A (en) * | 2010-08-18 | 2012-03-01 | Disco Abrasive Syst Ltd | Component management method |
| CN102376034A (en) * | 2010-08-18 | 2012-03-14 | 株式会社迪思科 | Method of managing parts |
| JP2016066125A (en) * | 2014-09-22 | 2016-04-28 | カシオ計算機株式会社 | Information retrieval system, measurement information acquisition terminal, image information acquisition terminal, retrieval server, information retrieval method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6817426B2 (en) | Yield prediction system and method for machine learning-based semiconductor manufacturing | |
| WO2018207173A1 (en) | System and method for construction 3d modeling and analysis | |
| CN108701237A (en) | Method for automatically generating public-measurement across multiple module units | |
| CN111062282A (en) | Transformer substation pointer type instrument identification method based on improved YOLOV3 model | |
| JP2021530773A (en) | Image-based relationship analysis methods and their systems | |
| JPWO2004097703A1 (en) | Manufacturing process analysis support method, program for causing computer to execute the method, program product, and recording medium | |
| CN107832771A (en) | The medium of the system and record process meteorological data program of process meteorological data device and method including process meteorological data device | |
| CN112926399A (en) | Target object detection method and device, electronic equipment and storage medium | |
| CN111626358B (en) | Tunnel surrounding rock grading method based on BIM picture identification | |
| CN112633354A (en) | Pavement crack detection method and device, computer equipment and storage medium | |
| CN109614512B (en) | Deep learning-based power equipment retrieval method | |
| Kölle et al. | Hybrid acquisition of high quality training data for semantic segmentation of 3D point clouds using crowd-based active learning | |
| JPH09319874A (en) | Component retrieval device | |
| JP3848514B2 (en) | Saliency calculation apparatus and method | |
| JPH08315144A (en) | Device and method for pattern classification | |
| CN109993071A (en) | The method and system of discoloration forest automatic identification and investigation based on remote sensing image | |
| Wickert et al. | Lessons Learned on Conducting Dwelling Detection on VHR Satellite Imagery for the Management of Humanitarian Operations | |
| Lang et al. | Multi-feature sample database for enhancing deep learning tasks in operational humanitarian applications | |
| CN114417047A (en) | General investigation method, system and storage medium for government affair information resources | |
| Hakim et al. | Automatic rain detection system based on digital images of CCTV cameras using convolutional neural network method | |
| JPH08320296A (en) | Device and method for estimating remaining life of electronic part | |
| CN114612889A (en) | Instrument information acquisition method and system, electronic equipment and storage medium | |
| Chen et al. | Gaussian Convolution Angles: Invariant Vein and Texture Descriptors for Butterfly Species Identification | |
| JP2004219166A (en) | Soil identification device, soil identification method, and program for allowing computer to perform the method | |
| JP2003156460A (en) | Method and system for managing data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20030805 |