JP2015201193A - Image recognition device and image recognition method - Google Patents
Image recognition device and image recognition method Download PDFInfo
- Publication number
- JP2015201193A JP2015201193A JP2015074843A JP2015074843A JP2015201193A JP 2015201193 A JP2015201193 A JP 2015201193A JP 2015074843 A JP2015074843 A JP 2015074843A JP 2015074843 A JP2015074843 A JP 2015074843A JP 2015201193 A JP2015201193 A JP 2015201193A
- Authority
- JP
- Japan
- Prior art keywords
- image
- article
- diagonal
- edge
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、画像認識装置及び画像認識方法、特に、画像における物品の形状及びサイズを認識する画像認識装置及び画像認識方法に関する。 The present invention relates to an image recognition apparatus and an image recognition method, and more particularly to an image recognition apparatus and an image recognition method for recognizing the shape and size of an article in an image.
組立生産ラインにおいて、2つの物品を組み立てるときに、物品サイズの測定及び物品形状の認識は組立過程にとって必要不可欠である。例を挙げれば、ガラスをアルミ製の枠に組み立てる際に、必要以上に押圧するとその接合面が鋭く突起したり、又は完全密接しないため鋭い開口が形成されたりすることで、パッケージングの作業員又は最終段階の設置場所での組立作業の作業員が負傷してしまう恐れがある。他の一例では、モジュールの形状が変われば、最終段階において設置場所でレールと結合するときに、組み立てられたとしても、係止点に応力が残ることとなり、時間が経つにつれて変形し、さらに機能の喪失になる可能性が生じるおそれがある。より深刻な場合には、係止さえできなくなり、クライアントやメーカーの損失を招くことになる。 When assembling two articles in an assembly production line, measuring the article size and recognizing the article shape are essential to the assembly process. For example, when assembling glass into an aluminum frame, if it is pressed more than necessary, its joint surface will protrude sharply, or a sharp opening will be formed because it is not completely in close contact, so packaging workers Alternatively, there is a risk that the worker of the assembly work at the installation site at the final stage may be injured. In another example, if the shape of the module changes, when it is assembled to the rail at the installation site in the final stage, even if it is assembled, stress will remain at the locking point, and it will be deformed and function over time. There is a possibility that it may be lost. In more serious cases, even locking is impossible, leading to loss of clients and manufacturers.
しかし、現行のやり方では、人が、物品のサイズを測定したり、物品の形状を視認したりするため、未だに多くの問題を抱えている。例えば、測定者が物品を測定するときに巻尺の目盛を誤って読み取ったり、物品そのものの形状が測定しにくいものであったりする場合(物品のエッジ部が円弧形の場合等)には、認識すべき物品が測定誤差により組立不可能な状態になる。そして、組立生産ラインにおいて、物品ごとに上記のように人が測定を行うと、組立生産ラインの効率向上も困難となる。 However, the current method still has many problems because a person measures the size of the article or visually recognizes the shape of the article. For example, when the measurer reads the scale of the tape by mistake when measuring the article, or when the shape of the article itself is difficult to measure (such as when the edge of the article is an arc), The article to be recognized becomes unable to be assembled due to a measurement error. And in an assembly production line, if a person measures as described above for each article, it becomes difficult to improve the efficiency of the assembly production line.
本発明は、上記の問題点を鑑みた、画像認識装置及び画像認識方法を提供することを課題とする。 An object of the present invention is to provide an image recognition device and an image recognition method in view of the above problems.
本発明に係る画像認識装置及び画像認識方法は、撮像した画像における物品の画素数を比較することにより物品の形状を判断するとともに、物品の実際のサイズ及び画像における物品の画素数を測定することにより物品のサイズを取得し、これにより、利用者が物品の画像を撮像するだけで物品の形状やサイズを知ることができる。 The image recognition apparatus and the image recognition method according to the present invention determine the shape of an article by comparing the number of pixels of the article in the captured image, and measure the actual size of the article and the number of pixels of the article in the image. By acquiring the size of the article, the user can know the shape and size of the article simply by taking an image of the article.
本発明により開示した画像認識方法は以下のステップを含む。まず、画像認識装置を利用して、物品の写っている第1画像を撮像する。次に、第1画像に基づき、物品の第1対角線の長さ及び第2対角線の長さを算出する。さらに、第1対角線の長さと第2対角線の長さとの比の値が第1範囲内にあるときに、認識結果を出力する。 The image recognition method disclosed by the present invention includes the following steps. First, a first image showing an article is captured using an image recognition device. Next, based on the first image, the length of the first diagonal line and the length of the second diagonal line of the article are calculated. Furthermore, when the value of the ratio between the length of the first diagonal line and the length of the second diagonal line is within the first range, a recognition result is output.
本発明により開示した画像認識装置は撮像モジュール及び画像処理モジュールを備える。前記撮像モジュールは物品を含む画像を撮像するために用いられるものである。前記画像処理モジュールは撮像モジュールに通信可能に接続され、エッジ線検出プログラムを実行することにより、画像から物品における複数のエッジ線の位置を取得するとともに、物品における複数のエッジ線の位置に基づき、画像における物品の複数の対角線のうちの第1対角線及び第2対角線の位置を取得して、第1対角線及び第2対角線の位置における画素数を算出し、第1対角線と第2対角線との画素数の比の値が第1範囲内にあるか否かを判断する。第1対角線と第2対角線との画素数の比の値が第1範囲内にあるときに、認識結果を出力する。 The image recognition apparatus disclosed by the present invention includes an imaging module and an image processing module. The imaging module is used to capture an image including an article. The image processing module is communicably connected to the imaging module, and executes an edge line detection program to obtain the positions of a plurality of edge lines in the article from the image, and based on the positions of the plurality of edge lines in the article, The positions of the first diagonal line and the second diagonal line among the plurality of diagonal lines of the article in the image are acquired, the number of pixels at the position of the first diagonal line and the second diagonal line is calculated, and the pixels of the first diagonal line and the second diagonal line It is determined whether the value of the number ratio is within the first range. When the value of the ratio of the number of pixels between the first diagonal line and the second diagonal line is within the first range, a recognition result is output.
上記のように、本発明による画像内の物品を認識する装置及び方法は、エッジ線検出プログラムを実行することにより画像における物品の複数のエッジ線を取得するとともに、物品の複数のエッジ線から物品の複数の対角線を取得して、最後に画像内の物品の複数の対角線の位置におけるそれぞれ画素の数を比較することにより物品の形状を判断するようにし、利用者が物品の画像を撮像さえすれば物品の形状を知ることができる。
以上の本発明の内容に関する説明及び以下に記載する発明を実施するための形態に関する説明は、本発明の主旨や原理を例示し解釈し、さらに本発明の特許請求の範囲について解釈するものである。
As described above, the apparatus and method for recognizing an article in an image according to the present invention obtains a plurality of edge lines of the article in the image by executing an edge line detection program, and the article from the plurality of edge lines of the article. Multiple diagonals, and finally comparing the number of pixels at each of the diagonal positions of the article in the image to determine the shape of the article, so that the user can even take an image of the article You can know the shape of the article.
The above description relating to the contents of the present invention and the description relating to the mode for carrying out the invention described below are intended to illustrate and interpret the gist and principle of the present invention and further interpret the scope of the claims of the present invention. .
以下の発明を実施するための形態部分において、本発明の詳しい特徴やメリットを具体的に説明する。その内容は、当業者であれば本発明の技術内容についてよく理解した上でそれを実施するのに十分なものであり、また、本明細書で開示した内容、特許請求の範囲及び図面に基づき、当業者であれば本発明の関連目的やメリットを容易に理解できる。以下の実施例は本発明をさらに詳しく説明するが、本発明の範囲を制限するものではない。 Detailed features and merits of the present invention will be specifically described in the following embodiments for carrying out the invention. The contents are sufficient for those skilled in the art to fully understand and implement the technical contents of the present invention, and based on the contents disclosed in the present specification, the claims and the drawings. Those skilled in the art can easily understand the related objects and advantages of the present invention. The following examples illustrate the invention in more detail, but are not intended to limit the scope of the invention.
図1は、本発明に係る実施例による画像認識装置の機能ブロック図である。図1に示すように、画像内の物品を認識する装置10は、撮像モジュール102及び画像処理モジュール104を含む。画像処理モジュール104は、撮像モジュール102と通信可能に接続されている。装置10は、各種情報を記憶する記憶モジュール106を更に有する。記憶部106は、例えば、ROM、ハードディスク等により構成される。記憶モジュール106は、画像処理モジュール104と接続されている。
FIG. 1 is a functional block diagram of an image recognition apparatus according to an embodiment of the present invention. As shown in FIG. 1, the
図2は本発明に係る実施例による物品の画像を撮像する場合の側面図であり、図3は本発明に係る実施例による物品を含む画像の略図である。図に示すように、撮像モジュール102は、物品12を含む画像14(物品12が写った画像14)を撮像するために用いられるものである。より具体的に、利用者が物品12を認識しようとするとき、画像の中の物品を認識する装置10の下方に位置するステージ16の上に物品12を平行載置してから、物品12を含む画像14を撮像するように撮像モジュール102を制御する。撮像モジュール102は、カメラレンズ、ビデオカメラレンズ、ネットワーク撮像装置レンズ若しくは画像14を撮像可能な、適切な他の撮像機器であってもよいが、その限りではない。
FIG. 2 is a side view when an image of an article according to the embodiment of the present invention is taken, and FIG. 3 is a schematic view of an image including the article according to the embodiment of the present invention. As shown in the figure, the
続いて、前述の画像処理モジュール104はエッジ線検出プログラムを実行することにより画像14から物品12の複数のエッジ線の位置を取得するとともに、物品12の複数のエッジ線L1、L2、L3、L4の位置に基づき、画像14における物品12の複数の対角線のうちの対角線DI1及び対角線DI2の位置を取得する。
Subsequently, the
例を挙げると、撮像モジュール102は物品12(例えば矩形など)を含む画像14を撮像すると、画像処理モジュール104へ画像14を伝送してエッジ線検出プログラムを実行する。エッジ線検出プログラムの作動形態については後で詳しく説明する。画像処理モジュール104は、画像14における物品12のエッジ線L1、L2、L3、L4の位置を前記エッジ線検出プログラムによって検出すると、エッジ線L1と、エッジ線L2及びエッジ線L4と、の交差位置、並びにエッジ線L3と、エッジ線L2及びエッジ線L4、との交差位置から、画像14における対角線DI1及び対角線DI2の位置を検出する。画像処理モジュール104はマイクロプロセッサ(microprocessor)、グラフィックス処理装置 (graphics processing unit)、中央処理装置(central process unit)又はその他の演算処理に適する素子であってもよいが、本発明はその限りではない。
For example, when the
画像処理モジュール104は対角線DI1及び対角線DI2の位置における画素数を算出するとともに、対角線DI1と対角線DI2との画素数の比の値が第1範囲内にあるか否かを判断する。対角線DI1と対角線DI2との画素数の比の値が第1範囲内にあると画像処理モジュール104により判断された場合、画像処理モジュール104は認識結果を、例えば、図示されていないディスプレイや、記憶モジュール106に出力する。
The
より具体的には、画像処理モジュール104は対角線DI1及び対角線DI2の位置を取得すると、対角線DI1及び対角線DI2に沿って、対角線DI1の画素数及び対角線DI2の画素数をそれぞれ算出する。
More specifically, when acquiring the positions of the diagonal line DI1 and the diagonal line DI2, the
次に、画像処理モジュール104は、対角線DI1と対角線DI2との画素数の比を算出する。即ち、画像処理モジュール104は、対角線DI1の画素数を対角線DI2の画素数で除算して比の値を得る。得た比の値が第1範囲(例えば0.9から1.1の範囲)内にあるときには、対角線DI1と対角線DI2との画素数が等しい若しくは画素数の差が許容範囲内にあることつまり、対角線DI1と対角線DI2との実長が等しい若しくは実長の差が許容範囲内にあることを意味し、このとき、画像処理モジュール104は、認識結果を、例えば、図示されていないディスプレイや、記憶モジュール106に出力する。該認識結果は、認識される物品12が矩形のものと判断する旨の認識結果、又は認識される物品12が五角形、六角形若しくは任意の多角形形状のものと判断する旨の認識結果であってもよいが、本発明ではその限りではない。
Next, the
図4は本発明に係る実施例による物品の一部を含む画像の略図である。図4に示すように、前述のエッジ線検出プログラムは、画像14の画素1420とその他の画素1412、1414、1416、…、1428とのグレー階調値の差が閾値よりも高いか否かを比較するものであり、画像の画素1420とその他の画素1412、1414、1416、…、1428とのグレー階調値の差が閾値よりも高い場合、画像14における画素1420の位置が物品12における複数のエッジ線L1、L2、L3、L4の画素の位置となる。ただし、画素1420が画素1412、1414、1416、…、1428に隣接している。言い換えれば、利用者が撮像モジュール102の下方に物品12を平行載置するときに、物品12の下方に光源を設けると、物品12が位置する画素位置は物品12自体によって光線の一部が遮られるため、物品12が位置しないその他の画素位置の輝度よりも低くなる。さらに物品12のエッジ線位置の画素の輝度が、エッジ線に隣接する外の画素の輝度と大きく相違するという特性から、画像14における画素ごとにそれぞれの隣接画素とのグレー階調値の差を比較する。
FIG. 4 is a schematic view of an image including a part of an article according to an embodiment of the present invention. As shown in FIG. 4, the above-described edge line detection program determines whether or not the gray tone value difference between the
ここに例を挙げると、撮像モジュール102は物品12(例えば五角形)の画像14を撮像した後、物品12を含む画像14を画像処理モジュール104へ伝送する。画像処理モジュール104は、画像14における画素それぞれのグレー階調値を算出するとともに、画素1420を中心として隣接するその他の画素1412、1414、1416、…、1428と2つずつの間のグレー階調値の差が閾値よりも高いか否かを算出する(例えば125よりも高いか否か)。例えば、画素1420のグレー階調値が255で、画素1420の左に隣接する画素1412、1418、1424のグレー階調値がそれぞれ10、20、50であり、画素1420の右に隣接する画素1416、1422、1428のグレー階調値がそれぞれ168、175、192であり、画素1420の上に隣接する画素1414及び画素1420の下に隣接する画素1426のグレー階調値がそれぞれ245及び252である。画素1420のグレー階調値と画素1412、1418、1424のグレー階調値とをそれぞれ減算する場合、その差がいずれも閾値より高い。そして、画素1420のグレー階調値と画素1416、1422、1428のグレー階調値、及び画素1414、1426のグレー階調値とを比較するといずれも閾値より低い。この場合、画像処理モジュール104は画素1420が物品12の左エッジ線であることを判定できる。
For example, the
それだけでなく、本発明のエッジ線における画素のグレー階調値とエッジ線の外に隣接する画素のグレー階調値との相違がより明瞭になるように、本発明では光源数が複数あってもよく、また、これらの光源の位置が物品12の下方のみならず、利用者の要望に応じて、複数の異なる位置であってもよい。このようにして、本発明の物品12のエッジ線がより精確に取得される。
In addition, the present invention has a plurality of light sources so that the difference between the gray gradation value of the pixel in the edge line of the present invention and the gray gradation value of the pixel adjacent to the edge line becomes clearer. In addition, the positions of these light sources may be not only below the
そのほか、画像処理モジュール104は、複数のエッジ線L1、L2、L3、L4又は複数の対角線DI1、DI2の実長のうちのいずれかに対応する複数の測定値をさらに受信する。また、画像処理モジュール104は、エッジ線検出プログラムを実行することにより画像から物品12の複数のエッジ線L1、L2、L3、L4の位置を取得する。そして、画像処理モジュール104は、受信した前記測定値と、対応するエッジ線L1、L2、L3、L4又は対角線DI1、DI2の位置における画素数との関係式(数式1)に基づき、画素のサイズを算出する。一実施例においては、利用者が当該物品12のエッジ線L1、L2、L3、L4及び2つの対角線DI1、DI2の実長を予め測定しておき、画像中の物品を認識する画像認識装置10に上述測定値を入力してもよい。画像処理モジュール104は、エッジ線L1、L2、L3、L4及び2つの対角線DI1、DI2の実長、並びにその位置における画素数から、画像の画素サイズを算出することができる。
In addition, the
他の実施例においては、物品12が五角形の場合、利用者は五角形の画像を撮像する前に、この五角形の5つの辺の実長及び3つの対角線の実長を測定しておくとともに、画像中の物品を認識する画像認識装置10に上述の測定値を入力してもよい。続いて、画像処理モジュール104は画像における五角形の5つの辺の位置を前述のエッジ線検出プログラムによって取得してから、5つの辺の位置に基づいて画像における五角形の3つの対角線の位置を取得する。最後に、画像処理モジュール104は、入力された辺の実長及び対角線の実長、並びに画像におけるこれらの辺及び対角線の位置における画素数から、画像14の画素サイズを算出することができる。
In another embodiment, when the
前述の関係式(数式1)は、以下のとおりである。 The aforementioned relational expression (Formula 1) is as follows.
なお、総比値とは、測定値のそれぞれと、対応するそれらのエッジ線L1、L2、L3、L4又は対応するそれらの対角線DI1、DI2のうちのいずれかの画素数との比の値を積算したものであり、測定個数とは受信した複数の測定値の個数である。例を挙げると、エッジ線L1、L2、L3、L4及び2つの対角線DI1、DI2の実長が測定された場合、画像処理モジュール104は、エッジ線L1の実長をエッジ線L1における画素数で除算してエッジ線L1の比の値を得る。また、画像処理モジュール104は、エッジ線L2の実長をエッジ線L2における画素数で除算してエッジ線L2の比の値を得る。同様の演算を行い、4つのエッジ線L1、L2、L3、L4及び2つの対角線DI1、DI2の比の値を得ていく。画像処理モジュール104はその6つの比の値の算術平均を求めることで(つまり、この6つの比の値を積算して6で割ることで)、画像の画素サイズを取得する。
The total ratio value is a ratio value between each of the measured values and the corresponding number of pixels of the edge lines L1, L2, L3, and L4 or the corresponding diagonal lines DI1 and DI2. The measured number is the number of a plurality of received measurement values. For example, when the actual lengths of the edge lines L1, L2, L3, and L4 and the two diagonal lines DI1 and DI2 are measured, the
関係式は、上記の数式1のほか、加重平均にて画素のサイズを算出するような関係式でもよく、そのような関係式として数式2が用いられてもよい。 The relational expression may be a relational expression that calculates the size of a pixel by a weighted average in addition to the above-described mathematical expression 1, and a mathematical expression 2 may be used as such a relational expression.
であり、
なお、総長さとは測定値を選択的に重み付けして積算したものであり、総画素数とは測定値に対応するエッジ線又は対応する対角線の画素数を積算したものである。具体的には、得られる画素のサイズがより精確になるように、画像処理モジュール104は測定値の一部に対して大きな重みを与えてもよい。例えば2つの対角線DI1、DI2の長さがその他のエッジ線L1、L2、L3、L4よりも長く、且つその2つの対角線DI1、DI2の画素数がその他のエッジ線L1、L2、L3、L4の画素数よりも多い場合には、2つの対角線の長さに大きな重み(例えば1.4)を与えると、その算出した単一画素の誤差が、重みを与えずに算出した単一画素の誤差よりも小さくなり、算出した単一画素のサイズがより精確になる。
And
The total length is obtained by selectively weighting and integrating the measured values, and the total number of pixels is obtained by integrating the number of pixels on the edge line or the corresponding diagonal line corresponding to the measured values. Specifically, the
上記内容以外に、本発明ではエッジ線L1、L2、L3、L4及び2つの対角線DI1、DI2のすべての実長を測定しない限り画像14の画素サイズを算出できないと限定するものではなく、例えばエッジ線L1、エッジ線L3及び対角線DI1のみ測定しても、上述2つの関係式から画像14の画素サイズを得ることができる。
In addition to the above contents, the present invention is not limited to the fact that the pixel size of the
それだけでなく、画像中の物品を認識する画像認識装置10は、画像における画素ごとのグレー階調値、画像14における物品12のエッジ線L1、L2、L3、L4及び対角線DI1、DI2の位置及び画素数、及び受信した各エッジ線L1、L2、L3、L4及び対角線DI1、DI2の測定値を記憶するとともに、次の物品の画像を撮像してその物品のサイズを算出するために用いる、算出して得た画素のサイズを記憶する、画像モジュール104と接続された記憶モジュール106をさらに含めてよい。
In addition, the
上記内容のほかに、本発明では、画像認識装置10を補正する補正プログラムがさらに実行される(図1及び図5参照)。図5は本発明に係る実施例による基準試料の画像を撮像する場合の側面図である。図に示すように、撮像モジュール102は基準試料18の写っている第2画像(図示せず)を撮像する。続けて、画像処理モジュール104は第2画像から基準試料18の複数のエッジ線(図示せず)の位置を認識するが、その認識態様は前述の内容と同一なので、ここに改めて説明しない。画像処理モジュール104は上記基準試料18の複数のエッジ線位置における画素数を読み取り、その後、受信した人が測定した基準試料18の複数のエッジ線の実長と対応する複数の画素数とを照合して、一つの画素に対応する実長を算出する(図示せず)。
In addition to the above contents, in the present invention, a correction program for correcting the
画像処理モジュール104は画素ごとに対応する実長を得てから、撮像モジュール102が第3画像(図示せず)を撮像するように、撮像モジュール102にコマンド信号を送信する。撮像モジュール102は、第3画像を撮像すると、画像処理モジュール104へ第3画像を伝送して画像処理を行うことにより、第3画像における基準試料18の複数のエッジ線位置での画素数を取得する。画像処理モジュール104は前述算出して得た画素ごとに対応する実長、及び第3画像から得た基準試料18の複数のエッジ線位置での画素数から、基準試料18の複数のエッジ線の長さを算出する。
After obtaining the actual length corresponding to each pixel, the
画像処理モジュール104は、前述のように人が測定した基準試料18の複数のエッジ線の実長と、第3画像及び画素ごとに対応する実長から算出して得た複数のエッジ線の長さとから、上記2つの長さの比の値が第2範囲(例えば0.9から1.1)内にあるか否かを判断し、その比の値が第2範囲内にあると判断した場合、補正プログラムを停止する。画像処理モジュール104は、上記比の値が第2範囲内にないと判断した場合、撮像モジュール102が改めて第4画像(図示せず)を撮像するとともに、認識画像を補正する画像認識装置10の補正プログラムを再び実行するようにコマンド信号を撮像モジュール102に送信する。
The
当業者に本発明に記載されている画像における物品を認識する画像認識装置をよく理解させるために、本発明による画像における物品を認識する画像認識方法と結び付けてさらに説明を行う(図1、図2及び図6参照)。図6は、本発明に係る実施例による画像認識方法のフローチャートである。図6に示すように、ステップS400において、画像処理モジュール104は複数の測定値を受信する。これらの測定値のそれぞれは、物品12における複数のエッジ線又は複数の対角線の実長のうちのいずれかに対応する。ステップS402において、撮像モジュール102は物品12を含む画像14(物品12の写っている画像14)を撮像する。ステップS404において、画像処理モジュール104は、エッジ線検出プログラムを実行することにより、画像14から当該物品12の複数のエッジ線L1、L2、L3、L4の位置を取得する。
In order to make those skilled in the art understand the image recognition apparatus for recognizing an article in an image described in the present invention, further description will be given in connection with the image recognition method for recognizing an article in an image according to the present invention (FIGS. 1 and 2 and FIG. 6). FIG. 6 is a flowchart of an image recognition method according to an embodiment of the present invention. As shown in FIG. 6, in step S400, the
ステップS406において、画像処理モジュール104は、物品12の複数のエッジ線L1、L2、L3、L4の位置に基づき、画像14における物品12の複数の対角線のうちの対角線DI1及び対角線DI2の位置を取得する。ステップS408において、画像処理モジュール104は、画像14における物品の対角線DI1及び対角線DI2の位置での画素数を算出する。ステップS410において、画像処理モジュール104は、画像14における物品12のエッジ線L1、L2、L3、L4の位置での画素数を算出する。ステップS412において、画像処理モジュール104は物品12のエッジ線L1、L2、L3、L4及び対角線DI1、DI2の位置での画素数から、画像14の画素サイズを算出する。ステップS414において、画像処理モジュール104は、対角線DI1と対角線DI2との画素数の比の値が第1範囲内にあるか否かを判断する。画像処理モジュール104は、対角線DI1と対角線DI2との画素数の比の値が第1範囲内にあると判断した場合、物品12が矩形である旨の認識結果を出力する(ステップS416)。画像処理モジュール104は、対角線DI1と対角線DI2との画素数の比の値が第1範囲内にないと判断した場合、物品12が矩形のものではない旨の他の認識結果を出力する(ステップS418)。
In step S406, the
上記のステップS400、ステップS402、ステップS404及びステップS406の順番は変更されてもよい。例を挙げると、本発明ではまずステップS402、ステップS404及びステップS406を行ってから、ステップS400の動作を行うようにしてもよい。それだけでなく、ステップS408とステップS410の順番を互いに替えることもできる。つまりまず画像14における物品12のエッジ線L1、L2、L3、L4の位置での画素数を算出してから、画像14における物品12の対角線DI1、DI2の位置での画素数を算出するようにしてもよい。これは、利用者の要望に応じて定められてもよいが、本発明はその限りではない。
The order of step S400, step S402, step S404, and step S406 may be changed. For example, in the present invention, step S402, step S404, and step S406 may be performed first, and then the operation of step S400 may be performed. In addition, the order of step S408 and step S410 can be interchanged. That is, first, the number of pixels at the positions of the edge lines L1, L2, L3, and L4 of the
続いて、図1及び図7を併せて参照して説明する。図7は本発明に係る実施例による画像認識装置を補正する方法のフローチャートである。図に示すように、ステップS500において、画像処理モジュール104は、人が測定した基準試料18の複数のエッジ線の実長を受信する。ステップS502において、撮像モジュール102は基準試料18の写っている第2画像(図示せず)を撮像する。ステップS504において、画像処理モジュール104は、基準試料18の複数のエッジ線(図示せず)の位置における複数の画素数を読み取る。ステップS506において、画像処理モジュール104は、基準試料18の複数のエッジ線の実長と対応する複数の画素数を照合して、一つの画素(図示せず)に対応する実長を算出する。ステップS508において、撮像モジュール102は基準試料18の写っている第3画像(図示せず)を撮像する。
Next, description will be made with reference to FIGS. FIG. 7 is a flowchart of a method for correcting an image recognition apparatus according to an embodiment of the present invention. As shown in the figure, in step S500, the
ステップS510において、画像処理モジュール104は第3画像及び画素ごとに対応する実長に基づき、基準試料18の複数のエッジ線の長さを算出する。ステップS512において、画像処理モジュール104は基準試料18の複数のエッジ線の実長と、第3画像から算出した長さとの比の値が第2範囲内にあるか否かを判断する。画像処理モジュール104は基準試料18の複数のエッジ線の実長と、第3画像から算出した長さとの比の値が第2範囲内にないと判断した場合、本発明による画像認識方法におけるステップS500以降の、画像認識装置を補正する方法を改めて実行する。一方、画像処理モジュール104は、基準試料18の複数のエッジ線の実長と、第3画像から算出した長さとの比の値が第2範囲内にあると判断した場合、補正プログラムを終了する(ステップS514)。その後に本発明による画像認識方法を開始する(ステップS400)。
In step S510, the
上記のように、本発明による画像における物品を認識する画像認識装置はエッジ線検出プログラムを実行することにより画像における物品の複数のエッジ線を取得するとともに、物品の複数のエッジ線から物品の複数の対角線を取得することができる。そして、画像における物品の複数の対角線の位置でのそれぞれの画素数を比較することにより、利用者が物品の画像を撮像することで物品の形状を知ることができる。さらに、本発明は物品のエッジ線及び対角線の実長、並びに画像における物品のエッジ線及び対角線での画素数を測定することにより、画像における画素サイズを取得する。このため、利用者が全ての物品についてサイズを測定する必要がなくなり、1つ目の物品の実長のみを測定すれば、その他の後続する物品については、物品の画像を撮像するとともに、画像の画素サイズからその他の物品のエッジ線の実長を直接取得することができる。 As described above, the image recognition apparatus for recognizing an article in an image according to the present invention acquires a plurality of edge lines of an article in an image by executing an edge line detection program, and a plurality of articles from the plurality of edge lines of the article. Can be obtained. Then, by comparing the number of pixels at the positions of a plurality of diagonal lines of the article in the image, the user can know the shape of the article by taking an image of the article. Furthermore, the present invention obtains the pixel size in the image by measuring the actual lengths of the edge and diagonal lines of the article and the number of pixels on the edge and diagonal lines of the article in the image. This eliminates the need for the user to measure the size of all the articles, and if only the actual length of the first article is measured, the image of the article is taken for the other subsequent articles, and the image The actual lengths of the edge lines of other articles can be directly acquired from the pixel size.
それだけでなく、本発明は、撮像した第2画像における基準試料の複数のエッジ線の位置での複数の画素数、及び人が測定した基準試料の複数のエッジ線の実長から、画素に対応する実長を算出するための画像認識装置を補正する補正プログラムをさらに有する。また、画素に対応する実長及び撮像した第3画像から、基準試料の複数のエッジ線の長さを算出する。最後に、人が測定した複数のエッジ線の実長と算出した複数のエッジ線の長さとの比の値が第2範囲内か否かを画像処理モジュールによって判断する。ここでは、利用者による手動補正ではなく、画像認識装置によって自動補正が行われ、組立生産ラインによる物品測定の精度が高められる。
In addition, the present invention supports pixels from the number of pixels at the positions of the plurality of edge lines of the reference sample in the captured second image and the actual length of the plurality of edge lines of the reference sample measured by a person. And a correction program for correcting the image recognition device for calculating the actual length to be calculated. Further, the lengths of the plurality of edge lines of the reference sample are calculated from the actual length corresponding to the pixel and the captured third image. Finally, the image processing module determines whether the value of the ratio between the actual lengths of the plurality of edge lines measured by a person and the calculated lengths of the plurality of edge lines is within the second range. Here, not the manual correction by the user but the automatic correction is performed by the image recognition device, and the accuracy of the article measurement by the assembly production line is increased.
Claims (10)
物品の写っている第1画像を撮像するステップと、
前記第1画像に基づき、前記物品の第1対角線の長さ及び第2対角線の長さを算出するステップと、
前記第1対角線の長さと前記第2対角線の長さとの比の値が第1範囲内にあるときに、認識結果を出力するステップと、
を含む、画像認識方法。 An image recognition method executed by an image recognition apparatus,
Capturing a first image of an article;
Calculating a length of a first diagonal line and a length of a second diagonal line of the article based on the first image;
Outputting a recognition result when a value of a ratio between the length of the first diagonal line and the length of the second diagonal line is within a first range;
An image recognition method including:
エッジ線検出プログラムを実行することにより、前記第1画像から前記物品における複数のエッジ線の位置を取得するステップと、
前記物品における複数の前記エッジ線の位置に基づき、前記第1画像における前記物品の前記第1対角線及び前記第2対角線の位置を取得するとともに、前記第1対角線及び前記第2対角線の位置における画素数を読み取って、前記物品の前記第1対角線の長さ及び前記第2対角線の長さを算出するステップと、
を含む、
請求項1に記載の画像認識方法。 Calculating the length of the first diagonal and the length of the second diagonal of the article,
Acquiring the positions of a plurality of edge lines in the article from the first image by executing an edge line detection program;
Based on the positions of the plurality of edge lines in the article, the positions of the first diagonal line and the second diagonal line of the article in the first image are acquired, and pixels at the positions of the first diagonal line and the second diagonal line are obtained. Reading a number to calculate the length of the first diagonal and the length of the second diagonal of the article;
including,
The image recognition method according to claim 1.
請求項2に記載の画像認識方法。 The edge line detection program is for comparing whether or not a gray gradation value difference between a first pixel in the first image and a second pixel adjacent to the first pixel is higher than a threshold value. When the gray gradation value difference between the first pixel and the second pixel in the first image is higher than a threshold value, the position of the first pixel in the first image is a plurality of pixels of the edge line in the article It is determined that the position is
The image recognition method according to claim 2.
前記エッジ線検出プログラムを実行することにより、前記第1画像から前記物品における複数の前記エッジ線の位置を取得するステップの後、複数の前記測定値と複数の前記エッジ線及び複数の前記対角線の位置のうちのいずれかとの関係式に基づき、前記第1画像における画素のサイズを取得して出力するステップと、
を含む請求項3に記載の画像認識方法。 Receiving a plurality of measurement values respectively corresponding to actual lengths of a plurality of diagonal lines including the plurality of edge lines and the first diagonal line and the second diagonal line;
After the step of obtaining the positions of the plurality of edge lines in the article from the first image by executing the edge line detection program, the plurality of measurement values, the plurality of edge lines, and the plurality of diagonal lines Obtaining and outputting a size of a pixel in the first image based on a relational expression with any of the positions;
The image recognition method according to claim 3.
であり、
前記総比値は、複数の前記測定値と、対応する複数の前記エッジ線及び複数の前記対角線の画素数との比の値を積算したものであり、前記測定個数とは受信した前記測定値の個数である、
請求項4に記載の画像認識方法。 The relational expression is
And
The total ratio value is the sum of the ratio values of the plurality of measurement values and the corresponding number of pixels of the edge line and the plurality of diagonal lines, and the measurement number is the received measurement value The number of
The image recognition method according to claim 4.
であり、
前記総長さとは複数の前記測定値を選択的に重み付けて積算したものであり、前記総画素数とは対応する複数の前記エッジ線又は対応する複数の前記対角線の画素数を積算したものである、
請求項4に記載の画像認識方法。 The relational expression is
And
The total length is obtained by selectively weighting and integrating a plurality of measurement values, and the total pixel number is obtained by integrating the corresponding number of pixels on the edge line or the corresponding plurality of diagonal lines. ,
The image recognition method according to claim 4.
補正プログラムを実行するステップを含み、
前記補正プログラムは、
(a)人が測定した基準試料の複数のエッジ線の実長を受信するステップと、
(b)前記画像認識装置によって、前記基準試料の写っている第2画像を撮像するステップと、
(c)前記第2画像に基づき、前記基準試料の複数の前記エッジ線の位置における複数の画素数を読み取るステップと、
(d)前記基準試料の複数の前記エッジ線の実長と対応する複数の前記画素数とを照合して、画素ごとに対応する実長を算出するステップと、
(e)前記画像認識装置によって、前記基準試料の写っている第3画像を再び撮像するステップと、
(f)前記第3画像及び前記画素ごとに対応する実長に基づき、前記基準試料の複数の前記エッジ線の長さを算出するステップと、
(g)前記基準試料の複数の前記エッジ線の実長と、前記第3画像から算出した長さとの比の値が第2範囲内にあるか否かを判断するステップと、
を含み、
前記基準試料の複数の前記エッジ線の実長と、前記第3画像から算出した長さとの比の値が前記第2範囲内にあると判断された場合に、前記補正プログラムの実行が終了され、前記基準試料の複数の前記エッジ線の実長と、前記第3画像から算出した長さとの比の値が前記第2範囲内にないと判断された場合に、ステップ(a)からステップ(g)を繰り返す、
請求項1に記載の画像認識方法。 Before the step of capturing the first image showing the article,
Including a step of executing a correction program;
The correction program is
(A) receiving actual lengths of a plurality of edge lines of a reference sample measured by a person;
(B) capturing a second image of the reference sample by the image recognition device;
(C) reading a plurality of pixel numbers at a plurality of positions of the edge lines of the reference sample based on the second image;
(D) collating the actual length of the plurality of edge lines of the reference sample with the corresponding number of pixels to calculate the corresponding actual length for each pixel;
(E) re-imaging the third image showing the reference sample by the image recognition device;
(F) calculating the lengths of the plurality of edge lines of the reference sample based on the third image and the actual length corresponding to each pixel;
(G) determining whether the value of the ratio between the actual length of the plurality of edge lines of the reference sample and the length calculated from the third image is within a second range;
Including
When it is determined that the ratio value between the actual lengths of the plurality of edge lines of the reference sample and the length calculated from the third image is within the second range, the execution of the correction program is terminated. When it is determined that the ratio value between the actual length of the plurality of edge lines of the reference sample and the length calculated from the third image is not within the second range, the steps (a) to ( g) repeat,
The image recognition method according to claim 1.
前記撮像モジュールに通信可能に接続される画像処理モジュールと、
を備え、
前記画像処理モジュールは、エッジ線検出プログラムを実行することにより、前記画像から前記物品における複数のエッジ線の位置を取得するとともに、前記物品における複数の前記エッジ線の位置に基づき、前記画像における前記物品の複数の対角線のうちの第1対角線及び第2対角線の位置を取得して、前記第1対角線及び前記第2対角線の位置における画素数を算出し、前記第1対角線と前記第2対角線との画素数の比の値が第1範囲内にあるか否かを判断し、前記第1対角線と前記第2対角線との画素数の比の値が前記第1範囲内にあるときに、認識結果を出力する、
画像認識装置。 An imaging module used to capture an image including the article;
An image processing module communicably connected to the imaging module;
With
The image processing module executes the edge line detection program to obtain the positions of the plurality of edge lines in the article from the image, and based on the positions of the plurality of edge lines in the article, the image processing module Obtaining the positions of the first diagonal line and the second diagonal line of the plurality of diagonal lines of the article, calculating the number of pixels at the position of the first diagonal line and the second diagonal line, the first diagonal line and the second diagonal line, It is determined whether or not the ratio value of the number of pixels is within the first range, and the ratio value of the number of pixels between the first diagonal line and the second diagonal line is within the first range. Output the result,
Image recognition device.
前記画像処理モジュールは、複数の前記エッジ線又は複数の前記対角線の実長のうちのいずれかにそれぞれ対応している複数の測定値を受信して、さらに前記エッジ線検出プログラムを実行することにより、前記画像から前記物品における複数の前記エッジ線の位置を取得した後、複数の前記測定値と複数の前記エッジ線及び複数の前記対角線の位置のうちのいずれかとの関係式に基づき、前記画像における画素のサイズを取得して出力し、
前記関係式は、
であり、
前記総比値とは、複数の前記測定値と、対応する複数の前記エッジ線及び複数の前記対角線の画素数との比の値を積算したものであり、前記測定個数とは受信した複数の前記測定値の個数である、
請求項8に記載の画像認識装置。 The edge line detection program is for comparing whether or not a difference in gray gradation value between a first pixel in the image and a second pixel adjacent to the first pixel is higher than a threshold value. When the difference in gray gradation value between the first pixel and the second pixel is higher than the threshold, the position of the first pixel in the image is acquired as the position of a plurality of edge line pixels in the article. And
The image processing module receives a plurality of measurement values respectively corresponding to actual lengths of the plurality of edge lines or the plurality of diagonal lines, and further executes the edge line detection program , After obtaining the positions of the plurality of edge lines in the article from the image, the image based on a relational expression between the plurality of measured values and the positions of the plurality of edge lines and the plurality of diagonal lines Get and output the pixel size at
The relational expression is
And
The total ratio value is obtained by integrating the ratio values of the plurality of measurement values and the corresponding number of pixels of the edge line and the plurality of diagonal lines, and the measurement number is a plurality of received values. The number of measurements.
The image recognition apparatus according to claim 8.
前記関係式は、
であり、
前記総長さとは複数の前記測定値を選択的に重み付けて積算したものであり、前記総画素数とは対応する複数の前記エッジ線又は対応する複数の前記対角線の画素数を積算したものである、
請求項8に記載の画像認識装置。
The image processing module receives a plurality of measurement values respectively corresponding to actual lengths of the plurality of edge lines or the plurality of diagonal lines, and further executes the edge line detection program , After obtaining the positions of the plurality of edge lines in the article from the image, the image based on a relational expression between the plurality of measured values and the positions of the plurality of edge lines and the plurality of diagonal lines Get and output the pixel size at
The relational expression is
And
The total length is obtained by selectively weighting and integrating a plurality of measurement values, and the total pixel number is obtained by integrating the corresponding number of pixels on the edge line or the corresponding plurality of diagonal lines. ,
The image recognition apparatus according to claim 8.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103113094A TWI507678B (en) | 2014-04-09 | 2014-04-09 | Device and method for identifying an object |
TW103113094 | 2014-04-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015201193A true JP2015201193A (en) | 2015-11-12 |
Family
ID=54273694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015074843A Pending JP2015201193A (en) | 2014-04-09 | 2015-04-01 | Image recognition device and image recognition method |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2015201193A (en) |
CN (1) | CN104976951A (en) |
TW (1) | TWI507678B (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023195456A1 (en) * | 2022-04-04 | 2023-10-12 | 京セラ株式会社 | Electronic instrument, and method for controlling electronic instrument |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6319084A (en) * | 1986-07-11 | 1988-01-26 | Konica Corp | Printing quality evaluating method |
JPH01231184A (en) * | 1988-03-11 | 1989-09-14 | Oki Electric Ind Co Ltd | Detecting device for abnormality of area shape |
JPH09329413A (en) * | 1996-06-07 | 1997-12-22 | Honda Motor Co Ltd | Inspection device and method for assembling of transmission gear assembly shaft |
JP2005270484A (en) * | 2004-03-26 | 2005-10-06 | Sumitomo Rubber Ind Ltd | Calibration method |
JP2013114547A (en) * | 2011-11-30 | 2013-06-10 | Canon Inc | Image processing device, image processing program, robot apparatus, and image processing method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6137893A (en) * | 1996-10-07 | 2000-10-24 | Cognex Corporation | Machine vision calibration targets and methods of determining their location and orientation in an image |
JP4106301B2 (en) * | 2003-04-23 | 2008-06-25 | Juki株式会社 | Component recognition method and apparatus |
CN100545746C (en) * | 2006-12-01 | 2009-09-30 | 鸿富锦精密工业(深圳)有限公司 | Optical look angle measuring systems and measuring method thereof |
CN101672620B (en) * | 2008-09-08 | 2011-01-05 | 鸿富锦精密工业(深圳)有限公司 | Electronic device and method for measuring size of object |
US7710558B2 (en) * | 2008-09-11 | 2010-05-04 | Litesentry Corporation | Automated online measurement of glass part geometry |
-
2014
- 2014-04-09 TW TW103113094A patent/TWI507678B/en not_active IP Right Cessation
- 2014-04-24 CN CN201410167796.XA patent/CN104976951A/en active Pending
-
2015
- 2015-04-01 JP JP2015074843A patent/JP2015201193A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6319084A (en) * | 1986-07-11 | 1988-01-26 | Konica Corp | Printing quality evaluating method |
JPH01231184A (en) * | 1988-03-11 | 1989-09-14 | Oki Electric Ind Co Ltd | Detecting device for abnormality of area shape |
JPH09329413A (en) * | 1996-06-07 | 1997-12-22 | Honda Motor Co Ltd | Inspection device and method for assembling of transmission gear assembly shaft |
JP2005270484A (en) * | 2004-03-26 | 2005-10-06 | Sumitomo Rubber Ind Ltd | Calibration method |
JP2013114547A (en) * | 2011-11-30 | 2013-06-10 | Canon Inc | Image processing device, image processing program, robot apparatus, and image processing method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023195456A1 (en) * | 2022-04-04 | 2023-10-12 | 京セラ株式会社 | Electronic instrument, and method for controlling electronic instrument |
Also Published As
Publication number | Publication date |
---|---|
TW201538964A (en) | 2015-10-16 |
CN104976951A (en) | 2015-10-14 |
TWI507678B (en) | 2015-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
US9800867B2 (en) | Calibration device of camera, camera system, and calibration method of camera | |
US8121400B2 (en) | Method of comparing similarity of 3D visual objects | |
JP6465682B2 (en) | Information processing apparatus, information processing method, and program | |
US10062176B2 (en) | Displacement detecting apparatus and displacement detecting method | |
WO2016095318A1 (en) | Method for automatically detecting display panel defect | |
CN110268221B (en) | Cord measuring device and cord measuring method | |
JP2012028877A5 (en) | ||
JP6688962B2 (en) | Judgment device, judgment method, and judgment program | |
KR20190059639A (en) | Apparatus and method for measureing a crack in a concrete surface | |
JP6505830B2 (en) | Cell analysis apparatus and cell analysis method | |
JP5957250B2 (en) | Crack detection method and crack display device | |
JP2016136112A5 (en) | Distance measuring device | |
TWI468658B (en) | Lens test device and method | |
WO2016169055A1 (en) | Calibration method and apparatus for brightness detection value and chrominance detection value of optical camera | |
TWI590196B (en) | Method for detecting of liquid | |
KR20160035212A (en) | Device and method for measuring posture of human using sensor and camera | |
US10967517B2 (en) | Information processing apparatus, method, and storage medium for presenting information for calibration | |
JP6248706B2 (en) | Stress distribution measuring apparatus and stress distribution measuring method | |
JP2015201193A (en) | Image recognition device and image recognition method | |
TWI497062B (en) | Optical detection system for central process unit socket and method thereof | |
US11120576B1 (en) | Coarse to fine calibration parameter validation and temperature mitigation | |
JP5167614B2 (en) | Distance image generating apparatus, distance image generating method and program | |
CN108903907B (en) | Horizontal deviation-based vernier sharpness perception capability detection method | |
KR101475742B1 (en) | Apparatus and method for performing photogrammetry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160223 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160226 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161004 |