JP2007052670A - Method, apparatus and program for detecting side and evaluating corner - Google Patents
Method, apparatus and program for detecting side and evaluating corner Download PDFInfo
- Publication number
- JP2007052670A JP2007052670A JP2005237857A JP2005237857A JP2007052670A JP 2007052670 A JP2007052670 A JP 2007052670A JP 2005237857 A JP2005237857 A JP 2005237857A JP 2005237857 A JP2005237857 A JP 2005237857A JP 2007052670 A JP2007052670 A JP 2007052670A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- evaluation
- corner
- intersection
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、辺検出方法及び隅評価方法及び装置及びプログラムに係り、特に、携帯電話などの処理能力の限られた端末上において、カメラなどの撮影画像の中から、ある矩形領域で囲まれた部分を、その四隅座標を判定することで正確に抜き出すための辺検出方法及び隅評価方法及び装置及びプログラムに関する。 The present invention relates to an edge detection method, a corner evaluation method, an apparatus, and a program. In particular, on a terminal having a limited processing capability such as a mobile phone, the image is surrounded by a rectangular area from a captured image such as a camera. The present invention relates to an edge detection method, a corner evaluation method, an apparatus, and a program for accurately extracting a portion by determining its four corner coordinates.
特定の画像の中から直線を検出する手法としてハフ変換が知られている。ハフ変換では、まず、画像を二値化処理し、二値化画像の中で画素の値がある閾値を越える全ての画素をサンプリングする。次に、サンプリングした各画素について、その画素を通る全ての直線を考える。ここで、画像中にある原点を定めて、各画素を通る全ての直線について、原点との距離を計算する。角度と距離を軸とした極座標を考え、上記全ての直線を極座標上へ投票する。ここで、投票とは、距離が一致する直線が一本あれば、該当する座標の値を＋１することである。各点における投票数は、その数だけ同じ角度と原点からの距離をもつ直線が存在することを示しており、投票数が多いほど直線成分の強い直線であることがわかる。この処理により、投票数が多い方から直線を選ぶことで、画像中から強い直線成分を検出することが可能となる（例えば、特許文献１参照）。
但し、上記のハフ変換では必ずしも必要とする直線だけが得られるわけではない。強い直線成分であればハフ変換による投票数が増え、弱い直線であれば投票数が減る。そのため、必要とする直線が絵柄に埋もれやすい場合や薄い場合などは投票数が減り、直線選別のための閾値を大きく下げることが必要である。閾値を下げることでより投票数の多い、はっきりとした直線が検出されてしまい、直線の選別が必要となる。この選別は、求める画像のパターンマッチングや人の目視などにより行われる場合が多く、確立された選別技術は存在しない。 However, the above-described Hough transform does not always obtain only the necessary straight line. A strong straight line component increases the number of votes by Hough transform, and a weak straight line decreases the number of votes. For this reason, when the required straight line is easily buried in the pattern or is thin, it is necessary to reduce the number of votes and greatly reduce the threshold for line selection. By lowering the threshold value, a clear straight line with more votes is detected, and it is necessary to select a straight line. This sorting is often performed by pattern matching of a desired image or visual observation by a person, and there is no established sorting technique.
ハフ変換は上記のように、直線検出には非常に有効な手法であり、デスクトップパーソナルコンピュータのような潤沢なリソースがあるならば、十分な性能が期待できる。しかし、プログラムサイズ、メモリ量、処理能力などの限られた携帯端末上で動作させる場合には、十分な性能を発揮するのは困難である。 As described above, the Hough transform is a very effective method for straight line detection, and if there are abundant resources such as a desktop personal computer, sufficient performance can be expected. However, when operating on a portable terminal with limited program size, memory amount, processing capability, etc., it is difficult to exhibit sufficient performance.
また、得られた直線候補の選別におけるパターンマッチングなどでは、目標となるテンプレートを用意し、直線成分の組み合わせから、最適解を求めるという操作が必要である。この場合も複数の直線の組み合わせを求め、マッチングを行うためには、携帯端末のリソースは不足していると言える。 In addition, for pattern matching or the like in selecting the obtained straight line candidates, an operation of preparing a target template and obtaining an optimal solution from a combination of straight line components is necessary. Also in this case, it can be said that the resources of the mobile terminal are insufficient to obtain a combination of a plurality of straight lines and perform matching.
本発明は、上記の点に鑑みなされたもので、撮影画像上の矩形領域の四辺と四隅座標を処理能力の限られた携帯端末上で検出し、また、同時に処理時間を一定時間以内に収めることが可能な辺検出方法及び隅評価方法及び装置及びプログラムを提供することを目的とする。 The present invention has been made in view of the above points, and detects the four sides and four corner coordinates of a rectangular area on a captured image on a portable terminal with limited processing capability, and simultaneously keeps the processing time within a certain time. An object of the present invention is to provide an edge detection method, a corner evaluation method, an apparatus, and a program.
図１は、本発明の原理を説明するための図である。 FIG. 1 is a diagram for explaining the principle of the present invention.
本発明（請求項１）は、画像中で四辺に囲まれた矩形領域の辺を検出する装置における辺検出方法であって、
画像入力手段において、入力された画像を取得する画像入力ステップ（ステップ1）と、
辺検出手段において、取得した画像中の矩形領域の辺を検出して、辺候補として記憶手段に格納する辺検出ステップ（ステップ２）と、
隅評価手段において、記憶手段から辺候補を取得し、該辺候補の交点を求め、記憶手段に格納し、該交点について矩形領域の隅を形成する組み合わせとなるかを判定し、隅評価結果として記憶手段に格納する隅評価ステップ（ステップ３）と、
検出結果出力手段において、記憶手段に格納されている隅評価結果に基づいて矩形領域の隅座標を出力する検出結果出力ステップ（ステップ４）と、を行う。
The present invention (Claim 1) is a side detection method in an apparatus for detecting a side of a rectangular region surrounded by four sides in an image,
In the image input means, an image input step (step 1) for acquiring the input image;
In the edge detection means, an edge detection step (step 2) for detecting the edge of the rectangular area in the acquired image and storing it in the storage means as an edge candidate;
In the corner evaluation means, the edge candidate is obtained from the storage means, the intersection of the edge candidate is obtained, stored in the storage means, and it is determined whether the intersection forms a corner of the rectangular area, and the corner evaluation result is obtained. A corner evaluation step (step 3) to be stored in the storage means;
In the detection result output means, a detection result output step (step 4) for outputting the corner coordinates of the rectangular area based on the corner evaluation result stored in the storage means is performed.
本発明（請求項２）は、請求項１の辺検出方法であって、
辺検出ステップ（ステップ２）において、
取得した画像に対し、フィルタ処理手段において、該画像の各縁上の任意の一点をフィルタ処理開始点とし、該フィルタ処理開始点から該画像の内側に向かって辺と直交する方向へフィルタ処理を行う。
The present invention (Claim 2) is the side detection method of
In the edge detection step (step 2),
For the acquired image, the filter processing means sets an arbitrary one point on each edge of the image as a filter processing start point, and performs filter processing in a direction orthogonal to the side from the filter processing start point toward the inside of the image. Do.
また、本発明（請求項３）は、請求項１または２の辺検出方法であって、
辺検出ステップ（ステップ２）において、
フィルタ処理手段が、入力された画像の各縁上の辺探索開始点から該画像内部に向かい各ピクセル毎にフィルタ処理を行い、フィルタ出力値が閾値を超えた点を矩形領域の辺候補の辺探索開始点として検出する。
Moreover, this invention (Claim 3) is the edge detection method of
In the edge detection step (step 2),
The filter processing means performs filter processing for each pixel from the edge search start point on each edge of the input image toward the inside of the image, and sets the point where the filter output value exceeds the threshold as the edge of the edge candidate of the rectangular area Detect as search start point.
また、本発明（請求項４）は、請求項１乃至３の辺検出方法であって、
辺検出ステップ（ステップ２）において、
フィルタ処理手段により検出した辺探索開始点について、該辺探索開始点から、該フィルタ処理手段での探索方向と直交する方向へ向かい、色調変化が連続的に続くことを判定する。
The present invention (Claim 4) is the side detection method according to
In the edge detection step (step 2),
With respect to the edge search start point detected by the filter processing means, it is determined from the edge search start point toward the direction orthogonal to the search direction in the filter processing means, that the color change continues continuously.
また、本発明（請求項５）は、請求項１乃至４の辺検出方法であって、
辺検出ステップ（ステップ２）において、
辺探索開始点からフィルタ処理と直交する２方向へ辺探索を行った点の位置関係より、辺探索方向を示すベクトルを決定する。
Moreover, this invention (Claim 5) is the edge | side detection method of
In the edge detection step (step 2),
A vector indicating the edge search direction is determined from the positional relationship between the edge search points in the two directions orthogonal to the filter processing from the edge search start point.
また、本発明（請求項６）は、請求項１乃至５の辺検出方法であって、
辺検出ステップ（ステップ２）において、
フィルタ処理を行ったピクセルから、辺探索方向ベクトルの向きに隣接する１ピクセルとその周辺のピクセルについてフィルタ処理による判定を行い、該フィルタ処理が連続して数ピクセル続くまで繰り返す。
The present invention (Claim 6) is the side detection method according to
In the edge detection step (step 2),
From the pixel that has been subjected to the filter processing, one pixel adjacent to the direction of the edge search direction vector and the surrounding pixels are determined by the filter processing, and the processing is repeated until the pixel continues for several pixels.
また、本発明（請求項７）は、請求項１乃至６の辺検出方法であって、
辺検出ステップ（ステップ２）において、
辺探索方向ベクトルの向きに向かい、数ピクセルおきに飛び飛びにフィルタ処理による判定を行う。
The present invention (Claim 7) is the edge detection method according to
In the edge detection step (step 2),
The determination is made by filter processing every few pixels in the direction of the edge search direction vector.
また、本発明（請求項８）は、請求項１乃至７の辺検出方法であって、
フィルタ処理による連続性が判定できなくなった部分を辺の端点として検出を行う。
The present invention (Claim 8) is the side detection method according to
A portion where continuity cannot be determined by filter processing is detected as an end point of the side.
また、本発明（請求項９）は、請求項１乃至８の辺検出方法であって、
辺の端点座標の定まった線分として辺を検出する。
The present invention (Claim 9) is the side detection method according to
An edge is detected as a line segment with a fixed end point coordinate.
本発明（請求項１０）は、隅評価方法であって、
記憶手段に格納されている辺候補を読み出して入力とし、交点計算手段において、全ての辺の組み合わせについて、辺の延長上も含めた交点を求める交点計算ステップと、
評価値計算手段において、交点を構成する辺と該交点について第１の評価値を求める評価値計算ステップと、
検出した辺から矩形を構成する四辺の組み合わせについて第２の評価値を求め、複数の評価値を組み合わせることで矩形の総合評価を行う評価ステップと、
を行う。
The present invention (Claim 10) is a corner evaluation method,
Intersection calculation step for obtaining the intersection including the extension of the edges for all combinations of the edges in the intersection calculation means, by reading out the edge candidates stored in the storage means,
In the evaluation value calculation means, an evaluation value calculation step for obtaining a first evaluation value for the side forming the intersection and the intersection;
An evaluation step for obtaining a second evaluation value for a combination of four sides constituting a rectangle from the detected sides, and performing a comprehensive evaluation of the rectangle by combining a plurality of evaluation values;
I do.
また、本発明（請求項１１）は、請求項１０の隅評価方法であって、
評価ステップにおいて、
辺端点及び交点と該交点を成す２本の辺の交点側の端点座標との距離について評価する。
The present invention (Claim 11) is the corner evaluation method of
In the evaluation step,
The distance between the side end points and the intersection point and the end point coordinates on the intersection side of the two sides forming the intersection point is evaluated.
また、本発明（請求項１２）は、請求項１０の隅評価方法であって、
評価ステップにおいて、
一つの交点を成す２本の辺について、片方の辺の端点がもう片方の辺の外側に位置するか、内側に位置するかという接続位置について評価する。
The present invention (Claim 12) is the corner evaluation method of
In the evaluation step,
With respect to two sides forming one intersection, the connection position is evaluated as to whether the end point of one side is located outside or inside the other side.
また、本発明（請求項１３）は、請求項１０の隅評価方法であって、
評価ステップにおいて、
交点計算ステップで求められた交点と該交点をなす２本の線分について、該交点を開始点として辺検出ステップと同様の辺探索を行い、矩形領域における隅位置と２本の辺の位置から、特定の方向へのみ探索が可能であるかについて評価する。
The present invention (Claim 13) is the corner evaluation method of
In the evaluation step,
With respect to the intersection obtained in the intersection calculation step and the two line segments forming the intersection, an edge search similar to the edge detection step is performed with the intersection as a starting point, and from the corner position and the position of the two sides in the rectangular area Evaluate whether search is possible only in a specific direction.
また、本発明（請求項１４）は、請求項１０の隅評価方法であって、
評価ステップにおいて、
画像の各外辺からそれぞれ辺候補を一本ずつ選択し、
選択された４本の辺候補によって形成される四辺形の面積を求める。
The present invention (Claim 14) is the corner evaluation method according to
In the evaluation step,
Select one edge candidate from each outer edge of the image,
The area of the quadrilateral formed by the selected four side candidates is obtained.
また、本発明（請求項１５）は、請求項１０の隅評価方法であって、
評価ステップにおいて、
選択された４本の辺からなる矩形領域の対角線の交わる点を矩形領域の重心座標間の距離の割合を評価する。
The present invention (Claim 15) is the corner evaluation method of
In the evaluation step,
The ratio of the distance between the barycentric coordinates of the rectangular area is evaluated at the point where the diagonal lines of the selected rectangular area of the four sides intersect.
図２は、本発明の原理構成図である。 FIG. 2 is a principle configuration diagram of the present invention.
本発明（請求項１６）は、画像中で四辺に囲まれた矩形領域の辺を検出する辺検出装置であって、
入力された画像を取得する画像入力手段１０と、
取得した画像中の矩形領域の辺を検出して、辺候補として記憶手段１４に格納する辺検出手段１１と、
記憶手段１４から辺候補を取得し、該辺候補の交点を求め、記憶手段に格納し、該交点について矩形領域の隅を形成する組み合わせとなるかを判定し、隅評価結果として記憶手段に格納する隅評価手段１２と、
隅評価手段１２の隅評価結果に基づいて矩形領域の隅座標を出力する検出結果出力手段１３と、を有する。
The present invention (Claim 16) is an edge detection device for detecting an edge of a rectangular area surrounded by four edges in an image,
Image input means 10 for acquiring an input image;
A side detection unit 11 that detects a side of the rectangular area in the acquired image and stores the side in the
An edge candidate is acquired from the storage means 14, an intersection of the edge candidates is obtained, stored in the storage means, a determination is made as to whether the intersection is a combination that forms a corner of a rectangular area, and the result of corner evaluation is stored in the storage means Corner evaluation means 12 for
And detection result output means 13 for outputting the corner coordinates of the rectangular area based on the corner evaluation result of the corner evaluation means 12.
また、本発明（請求項１７）は、請求項１６の辺検出装置であって、
辺検出手段１１は、
取得した画像に対し、該画像の各縁上の任意の一点をフィルタ処理開始点とし、該フィルタ処理開始点から該画像の内側に向かって辺と直交する方向へフィルタ処理を行うフィルタ手段を含む。
The present invention (Claim 17) is the side detection device according to Claim 16,
The edge detection means 11
Filter means for performing filtering in the direction orthogonal to the side from the filtering processing start point toward the inside of the image with respect to the acquired image as an arbitrary one point on each edge of the image .
また、本発明（請求項１８）は、請求項１６または、１７の辺検出装置であって、
フィルタ処理手段は、
入力された画像の各縁上の辺探索開始点から該画像内部に向かい各ピクセルごとにフィルタ処理を行い、フィルタ出力値が閾値を超えた点を矩形領域の辺候補の辺探索開始点として検出する。
Moreover, this invention (Claim 18) is the edge detection apparatus of Claim 16 or 17,
Filter processing means
Performs filter processing for each pixel from the edge search start point on each edge of the input image to the inside of the image, and detects the point where the filter output value exceeds the threshold as the edge search start point of the edge candidate of the rectangular area To do.
また、本発明（請求項１９）は、請求項１６乃至１８の辺検出装置であって、
辺検出手段１１は、
フィルタ処理手段で検出した辺探索開始点について、該辺探索開始点から、該フィルタ処理手段での探索方向と直交する方向へ向かい、色調変化が連続的に続くことを判定する辺探索手段を有する。
The present invention (Claim 19) is the side detection device according to Claims 16 to 18,
The edge detection means 11
For the edge search start point detected by the filter processing means, there is an edge search means for judging from the edge search start point to a direction orthogonal to the search direction in the filter processing means and continuously changing the color tone. .
また、本発明（請求項２０）は、請求項１６乃至１９の辺検出装置であって、
辺検出手段１１の辺探索手段は、
辺探索開始点からフィルタ処理と直交する２方向へ辺探索を行った点の位置関係より、辺探索方向を示すベクトルを決定する探索方向ベクトル決定手段を有する。
The present invention (Claim 20) is the side detection apparatus according to Claims 16 to 19,
The edge search means of the edge detection means 11 is:
Search direction vector determining means is provided for determining a vector indicating the edge search direction from the positional relationship of the points where edge search is performed in two directions orthogonal to the filter processing from the edge search start point.
また、本発明（請求項２１）は、請求項１６乃至２０の辺検出装置であって、
辺探索手段は、
フィルタ処理手段のフィルタ処理を行ったピクセルから、辺探索方向ベクトルの向きに隣接する１ピクセルとその周辺のピクセルについてフィルタ処理による判定を行い、該フィルタ処理が連続して数ピクセル続くまで繰り返す密探索手段を有する。
The present invention (Claim 21) is the side detection apparatus according to Claims 16 to 20,
The edge search means
The fine search is repeated until one pixel adjacent to the direction of the edge search direction vector and the surrounding pixels are determined by filter processing from the pixels subjected to the filter processing by the filter processing means, and the filter processing continues several pixels continuously. Have means.
また、本発明（請求項２２）は、請求項１６乃至２１の辺検出装置であって、
辺探索手段は、
辺探索方向ベクトルの向きに向かい、数ピクセルおきに飛び飛びにフィルタ処理による判定を行う粗探索手段を有する。
The present invention (Claim 22) is the side detection device according to Claims 16 to 21,
The edge search means
Coarse search means for performing determination by filter processing every few pixels in the direction of the edge search direction vector is provided.
また、本発明（請求項２３）は、請求項１６乃至２２の辺検出装置であって、
辺探索手段は、
フィルタ処理による連続性が判定できなくなった部分を辺の端点として検出を行う線分検出手段を有する。
The present invention (Claim 23) is the side detection apparatus according to Claims 16 to 22,
The edge search means
It has a line segment detection means for detecting the part where the continuity cannot be determined by the filter processing as the end point of the side.
また、本発明（請求項２４）は、請求項１６乃至２３の辺検出装置であって、
辺検出手段は、
辺の端点座標の定まった線分として辺を検出する手段を有する。
The present invention (Claim 24) is the side detection apparatus according to Claims 16 to 23,
The edge detection means is
Means for detecting a side as a line segment with a fixed end point coordinate is provided.
本発明（請求項２５）は、辺検出装置に用いられる隅評価装置であって、
記憶手段に格納されている辺候補を読み出して入力とし、全ての辺の組み合わせについて、辺の延長上も含めた交点を求める交点計算手段と、
交点を構成する辺と該交点について第１の評価値を求める評価値計算手段と、
辺検出装置で検出された辺から矩形を構成する四辺の組み合わせについて第２の評価値を求めることで矩形の総合評価を行う評価手段と、を有する。
The present invention (Claim 25) is a corner evaluation device used in a side detection device,
Intersection calculation means for reading out the edge candidates stored in the storage means and using them as input, and obtaining intersection points including the extension of the edges for all combinations of edges;
An evaluation value calculating means for obtaining a first evaluation value for the side constituting the intersection and the intersection;
Evaluation means for performing a comprehensive evaluation of the rectangle by obtaining a second evaluation value for a combination of four sides constituting the rectangle from the sides detected by the side detection device.
また、本発明（請求項２６）は、請求項２５の隅評価装置であって、
評価手段は、
辺端点、交点計算手段で求めた交点と該交点を成す２本の辺の交点側の端点座標との距離について評価する手段を含む。
The present invention (Claim 26) is the corner evaluation apparatus according to Claim 25,
Evaluation means
Means for evaluating the distance between the side end point, the intersection obtained by the intersection calculation means, and the end point coordinates of the two sides forming the intersection.
また、本発明（請求項２７）は、請求項２５の隅評価装置であって、
評価手段は、
一つの交点を成す２本の辺について、片方の辺の端点がもう片方の辺の外側に位置するか、内側に位置するかという接続位置について評価する辺接続位置関係評価手段を含む。
The present invention (Claim 27) is the corner evaluation apparatus according to Claim 25,
Evaluation means
Side connection position relationship evaluation means for evaluating a connection position of whether one of the end points of one side is located outside or inside the other side for two sides forming one intersection is included.
また、本発明（請求項２８）は、請求項２５の隅評価装置であって、
評価手段は、
交点計算手段で求めた交点と該交点を成す２本の線分について、該交点を開始点として、辺検出装置の辺探索手段と同様に辺探索を行い、矩形領域における隅位置と２本の辺の位置から、特定の方向へのみ探索が可能であるかについて評価する隅形状評価手段を含む。
The present invention (Claim 28) is the corner evaluation apparatus according to Claim 25,
Evaluation means
With respect to the intersection obtained by the intersection calculation means and the two line segments forming the intersection, an edge search is performed using the intersection as a starting point in the same manner as the edge search means of the edge detection device, and the corner position in the rectangular area and the two line segments are detected. Corner shape evaluation means for evaluating whether a search is possible only in a specific direction from the position of the side is included.
また、本発明（請求項２９）は、請求項２５記載の隅評価装置であって、
評価値手段は、
画像の各外辺からそれぞれ辺候補を一本ずつ選択し、
選択された４本の辺候補によって形成される四辺形の面積を求める四辺形面積評価手段を含む。
The present invention (Claim 29) is the corner evaluation apparatus according to Claim 25,
Evaluation value means
Select one edge candidate from each outer edge of the image,
A quadrilateral area evaluation means for obtaining an area of a quadrilateral formed by the selected four side candidates is included.
また、本発明（請求項３０）は、請求項２５記載の隅評価装置であって、
評価手段は、
選択された４本の辺からなる矩形領域の対角線の交わる点を矩形領域の重心座標間の距離の割合を評価する四辺形重心評価手段を含む。
The present invention (Claim 30) is the corner evaluation apparatus according to Claim 25,
Evaluation means
A quadrangular center-of-gravity evaluation unit is included that evaluates the ratio of the distance between the center-of-gravity coordinates of the rectangular region at the intersection of the diagonal lines of the selected rectangular region of four sides.
また、本発明（請求項３１）は、画像中で四辺に囲まれた矩形領域の辺を検出する辺検出プログラムであって、
コンピュータを、請求項１６乃至２４記載の辺検出装置として機能させるプログラムである。
The present invention (Claim 31) is a side detection program for detecting a side of a rectangular area surrounded by four sides in an image,
A program causing a computer to function as the side detection device according to claims 16 to 24.
本発明（請求項３２）は、隅を評価する隅評価プログラムであって、
コンピュータを、請求項２５乃至３０記載の隅評価装置として機能させるプログラムである。
The present invention (Claim 32) is a corner evaluation program for evaluating a corner,
A program causing a computer to function as a corner evaluation apparatus according to claims 25 to 30.
本発明によれば、携帯電話などの処理能力が限られた携帯用端末上においても、撮影画像中にある任意の矩形領域を高速に、そして正確に検出することが可能である。 According to the present invention, an arbitrary rectangular area in a captured image can be detected at high speed and accurately even on a portable terminal such as a cellular phone with limited processing capability.
画像中から矩形領域を検出するためには、その矩形領域を構成する四辺を検出する必要がある。本発明では、一定の方向に連続して連なり、その周辺部とのコントラストが高い画素群を検出することで、画像の端から端までを突き抜ける直線を検出することが可能である。 In order to detect a rectangular area from an image, it is necessary to detect four sides constituting the rectangular area. In the present invention, it is possible to detect a straight line penetrating from end to end of an image by detecting a pixel group that continues in a certain direction and has a high contrast with its peripheral portion.
また、それだけに留まらず、画素群の連続性が途切れる部分を判定することで、画像内部のある２点間のみを結ぶ線分をも検出可能である。 In addition, it is possible to detect a line segment connecting only two points in the image by determining a portion where the continuity of the pixel group is interrupted.
本発明では、線分（直線含む）検出漏れを防ぐため、辺検出手段におけるフィルタ処理の閾値を低く設定し、数多くの線分を検出している。検出した線分には必ず辺候補が含まれるため、この候補の中から求める矩形領域の辺を正確に判定できるように、精度の高い隅評価手段を実現した。 In the present invention, in order to prevent detection of line segments (including straight lines), the threshold value of the filter processing in the edge detection means is set low, and a large number of line segments are detected. Since the detected line segment always includes a side candidate, a highly accurate corner evaluation means is realized so that the side of the rectangular area to be obtained can be accurately determined from the candidates.
隅評価手段では、２本の線分の交点を求める矩形領域の隅と考えて、隅の座標と線分の端点座標の位置関係、２本の線分の交差状態、隅形状、四辺形の面積を合わせて評価することで求める矩形領域を構成する四辺を選択することが可能である。検出される隅座標は、ピクセル単位で検出され、正確な座標を得ることが可能である。 The corner evaluation means considers the corner of a rectangular area to obtain the intersection of two line segments, and the positional relationship between the corner coordinates and the end point coordinates of the line segment, the intersection state of the two line segments, the corner shape, and the quadrilateral shape It is possible to select four sides constituting a rectangular region to be obtained by evaluating the area together. The detected corner coordinates are detected in units of pixels, and accurate coordinates can be obtained.
また、角が丸まっている四辺形なども、四辺の部分的な検出がなされていれば、四辺の接続関係から隅座標を仮想的に計算することで、矩形領域を検出可能である。 In addition, a quadrangular shape with rounded corners can be detected as a rectangular region by virtually calculating the corner coordinates from the connection relationship of the four sides if the four sides are partially detected.
さらに、求める矩形領域のうち、一つの隅が画像外にある場合でも、四辺が部分的に検出されていれば、辺の延長上の隅座標を仮想的に計算することで、見えない隅座標を検出し、矩形領域を検出することが可能である。 Furthermore, even if one corner of the desired rectangular area is outside the image, if the four sides are partially detected, the corner coordinates on the extension of the side are virtually calculated, and the corner coordinates that cannot be seen It is possible to detect a rectangular area.
本発明は、デスクトップパーソナルコンピュータのような処理能力の高い端末では当然実現可能であるが、携帯電話に代表されるような処理能力の低い端末でも動作可能であり、その処理速度も十分に速いことを特徴とする。そのため、矩形領域の抽出のための前処理として様々な機器への組み込みが可能となる。 The present invention can naturally be realized with a terminal having a high processing capability such as a desktop personal computer, but can also be operated with a terminal having a low processing capability such as a mobile phone, and its processing speed is sufficiently high. It is characterized by. Therefore, it can be incorporated into various devices as preprocessing for extracting a rectangular area.
携帯端末上にて動作可能なため、数多く出回っているカメラ付き携帯電話にも組み込み可能であり、今後カメラ付携帯電話の利用が変わる可能性を秘めている。矩形領域の収まっているモノを撮影すれば、その領域を自動的に検出できるため、リビングの椅子に座りながら、ＴＶ画面に向けてカメラ撮影することでＴＶの画面のみをキャプチャすることが可能である。例えば、番組毎に電子透かしが埋め込まれていれば、番組独自の情報をこれにより取得可能となる。 Since it can be operated on a mobile terminal, it can be incorporated into a large number of camera-equipped mobile phones, which has the potential to change the use of camera-equipped mobile phones in the future. If you shoot a thing that fits in a rectangular area, you can automatically detect that area, so you can capture only the TV screen by shooting the camera toward the TV screen while sitting on a chair in the living room. is there. For example, if a digital watermark is embedded for each program, it is possible to acquire information unique to the program.
以下、図面と共に本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本実施の形態では、カメラ付き携帯電話で電子透かし入り画像を撮影した場合について説明する。 In this embodiment mode, a case where a digital watermarked image is taken with a camera-equipped mobile phone will be described.
図３は、本発明の一実施の形態における全体の動作のフローチャートであり、図４は、本発明の一実施の形態における実施イメージを示す。 FIG. 3 is a flowchart of the overall operation in one embodiment of the present invention, and FIG. 4 shows an implementation image in one embodiment of the present invention.
まず、カメラ付き携帯電話のカメラモジュールから、電子透かしを埋め込んだ画像の撮影画像を取得し（ステップ１００）、撮影画像中の電子透かし入り画像領域の辺候補を検出する（ステップ２００）。辺候補の２本の組み合わせから導出される交点を画像の隅候補とし、各隅候補の座標について評価する（ステップ３００）。評価値の高い隅候補を構成する辺候補の組み合わせを、検出結果として出力する（ステップ４００）。 First, a captured image of an image in which a digital watermark is embedded is obtained from the camera module of the camera-equipped mobile phone (step 100), and edge candidates of the image area with the digital watermark in the captured image are detected (step 200). The intersection derived from the two combinations of edge candidates is set as a corner candidate of the image, and the coordinates of each corner candidate are evaluated (step 300). A combination of edge candidates constituting a corner candidate having a high evaluation value is output as a detection result (step 400).
図５は、本発明の一実施の形態における用語を定義するための図である。同図は入力画像の例を示しており、当該入力画像において（ａ）の矢印は辺探索開始点探索、（ｂ）の矢印は密探索（辺探索）、（ｃ）の矢印は粗探索（辺探索）、（ｄ）の矢印は辺探索方向を示す。（ｅ）の点は、辺探索開始初期点、（ｆ）の点は辺探索開始点、（ｇ）の点は密探索終了点、（ｈ）の点は粗探索終了点、（ｉ）は辺探索途中の点であり、辺追跡点と呼ぶ。 FIG. 5 is a diagram for defining terms in an embodiment of the present invention. The figure shows an example of an input image. In the input image, an arrow (a) indicates an edge search start point search, an arrow (b) indicates a fine search (edge search), and an arrow (c) indicates a rough search ( Edge search) and (d) arrows indicate the edge search direction. The point (e) is the initial side search start point, the point (f) is the side search start point, the point (g) is the fine search end point, the point (h) is the rough search end point, and (i) is the point This is a point in the middle of edge search and is called edge tracking point.
図６は、本発明の一実施の形態における装置の基本構成を示す。 FIG. 6 shows a basic configuration of an apparatus according to an embodiment of the present invention.
同図に示す装置は、画像入力部１０、辺検出部１１、隅評価部１２、検出結果出力部１３から構成される。なお、図示しないが、本装置は、メモリ等の記憶手段を有するものとする。
The apparatus shown in FIG. 1 includes an
辺検出部１１は、カメラ付き携帯電話などで撮影された画像から、画像内にある電子透かし入り画像の辺を含む辺候補を検出し、メモリ（図示せず）に格納する。 The edge detection unit 11 detects an edge candidate including an edge of an image with a digital watermark in the image from an image taken with a camera-equipped mobile phone or the like, and stores it in a memory (not shown).
図７は、本発明の一実施の形態における辺検出部の構成を示す。 FIG. 7 shows the configuration of the edge detection unit in one embodiment of the present invention.
辺検出部１１は、辺探索開始初期点決定部１１１、辺探索開始点探索部１１２、密探索部１１３、粗探索部１１４から構成される。
The edge detection unit 11 includes an edge search start initial
以下に、辺検出部１１の動作を説明する。 Below, operation | movement of the edge | side detection part 11 is demonstrated.
図８は、本発明の一実施の形態における辺検出部の処理のフローチャートである。 FIG. 8 is a flowchart of the process of the edge detection unit according to the embodiment of the present invention.
ステップ２０１） 辺検出部１１は、辺探索開始初期点決定部１１１へ入力された撮影画像を渡す。
Step 201) The edge detection unit 11 passes the captured image input to the edge search start initial
ステップ２０２） 辺探索開始初期点決定部１１１は、入力画像の縁から一辺を選択する。
Step 202) The edge search start initial
ステップ２０３） 辺探索開始初期点決定部１１１は、例えば、縁の中点を辺探索開始初期点と設定し、辺探索開始点座標を辺探索開始点探索部１１２へ渡す。本実施の形態では、画像の左辺が選択された場合について説明する。
Step 203) For example, the edge search start initial
ステップ２０４） 辺探索開始点探索部１１２は、ステップ２０３で決定した辺探索開始初期点から辺探索を開始する。辺探索開始点探索部１１２は、一画素ずつ画素の内側に向かって（この場合は右方向に）水平に辺探索開始点探索を行う。求める透かし入り画像が濃い色をしており、周辺部が白い画像であるなど、画像の縁の様にコントラストの大きい場所では大きいフィルタ出力が得られる。
Step 204) The edge search start
ここで、辺探索開始点探索にて用いるフィルタについて説明する。図９は、本発明の一実施の形態における辺探索開始点探索部のフィルタを説明するための図である。同図では３×３の場合の例を示している。探索点座標をフィルタの中心と合わせて、フィルタ出力値を計算し、メモリ（図示せず）に格納する。図９（ａ）は、左側からの探索時に用いるフィルタであるが、例えば、上側からの探索であれば、同図（ｂ）に示すように右９０度回転したフィルタを用いる。但し、フィルタ形状は３×３に限らず、１×３や２×５の様な形状のフィルタでもよい。例えば、１×３であれば、（１，０，−１）というフィルタにすることが考えられる。また、白黒のような画像の輝度値変化を検出するフィルタに限らず、青黄のような色差の変化を検出するフィルタなども考えられる。また、画像に枠をつけた場合についても、例えば、フィルタを（１，０，１）などとすれば枠の検出が可能となる。 Here, the filter used in the edge search start point search will be described. FIG. 9 is a diagram for explaining a filter of the edge search start point search unit according to the embodiment of the present invention. In the figure, an example in the case of 3 × 3 is shown. The filter output value is calculated by matching the search point coordinates with the center of the filter, and stored in a memory (not shown). FIG. 9A shows a filter used when searching from the left side. For example, when searching from the upper side, a filter rotated 90 degrees to the right is used as shown in FIG. However, the filter shape is not limited to 3 × 3, and may be a filter having a shape such as 1 × 3 or 2 × 5. For example, if it is 1 × 3, a filter of (1, 0, −1) can be considered. Further, not only a filter that detects a change in luminance value of an image such as black and white, but also a filter that detects a change in color difference such as blue and yellow can be considered. Even when a frame is added to the image, for example, if the filter is (1, 0, 1), the frame can be detected.
ステップ２０５） 画像の中心線まで辺探索開始点探索が続いた場合は、その縁についての探索は終了し、ステップ２１４にて入力画像の全ての縁について辺探索を行ったかどうかを判定する。まだ画像の中心線まで辿り着いていなければ、ステップ２０６へ移動し、辺探索開始点探索を続行する。 Step 205) If the edge search start point search continues to the center line of the image, the search for the edge is completed, and it is determined in step 214 whether the edge search has been performed for all edges of the input image. If the center line of the image has not yet been reached, the process moves to step 206, and the edge search start point search is continued.
ステップ２０６） 現在のピクセルを中心ピクセルとして、フィルタ処理を行い、フィルタの出力をメモリ（図示せず）に格納する。メモリ（図示せず）に格納されているフィルタ出力がある閾値を超えた場合を辺検出とし、閾値を超えた座標を密探索部１１３へ送り、ステップ２０７へ処理を移す。フィルタの閾値は任意に設定でき、特に低く設定することにより、辺検出漏れを防ぐことが可能である。
Step 206) Perform filtering using the current pixel as the central pixel, and store the output of the filter in memory (not shown). When the filter output stored in the memory (not shown) exceeds a certain threshold value, the edge detection is performed, and the coordinates exceeding the threshold value are sent to the
ステップ２０７） 密探索部１１３は、ステップ２０６でエッジ検出した場合は、密探索を行う。辺探索開始点探索部１１２から受け取った座標を辺探索開始点とし、ステップ２０４の辺探索開始点探索と直交する方向（この場合は上下方向）に密探索を行う。本実施の形態では、上方向への密探索について説明する。エッジが左右に傾いている可能性があるので、密探索開始点から上方向へ１画素移動した点を中心とし、左右１画素の領域、合計３画素について辺探索開始点探索部１１２と同じフィルタを用いて密探索を行い、フィルタの出力をメモリ（図示せず）に格納する。メモリ（図示せず）のフィルタの出力が閾値を超えていて、かつ最も高い値の画素を次の密探索中心とする。フィルタ出力値が閾値を超えない場合は、その点で上方向への密探索を終了し、続いて辺探索開始点へ戻り、逆方向（この場合は下方向）への密探索を続ける。
Step 207) If an edge is detected in Step 206, the
ここでは、先に上方向へ探索、閾値を下回ったら、下方向へ探索としているが、辺探索開始点から上方向へ１ピクセル探索したら、次に下方向の探索を行い、また、上方向の探索と交互に進める方法などもある。 Here, the search is performed in the upward direction first, and when the value falls below the threshold, the search is performed in the downward direction. However, if one pixel is searched upward from the edge search start point, the search is performed in the downward direction. There is also a method of proceeding alternately with search.
ステップ２０８） 密探索部１１３は、密探索による辺の追跡が、上下方向合わせて一定長以上続いた場合には密探索終了点とし、メモリ（図示せず）に格納し、ステップ２０９に移行し、そうでない場合はステップ２１３に移行する。
Step 208) The
ステップ２０９） 上限密探索の途中の追跡点に基づいて得られる方向ベクトルを辺探索方向ベクトルとする。辺探索方向ベクトルの決定方法は、上下密探索終了点の二点を結ぶベクトルや辺追跡点から最小二乗近似から求まる直線の方向ベクトルから求めるといったことが考えられる。 Step 209) The direction vector obtained based on the tracking point in the middle of the upper limit dense search is set as the edge search direction vector. As a method for determining the edge search direction vector, it is conceivable that the edge search direction vector is obtained from a vector connecting two points of the upper and lower dense search end points or a direction vector of a straight line obtained from least square approximation from the edge tracking point.
ステップ２１０） 粗探索部１１４は、密探索部１１３でメモリ（図示せず）に格納された密探索終了点を粗探索開始点とし、ステップ２０９にて決定した辺方向探索ベクトルの向きに数ピクセルおきに飛び飛びに辺探索を行う（粗探索）。
Step 210) The
ステップ２１１） 粗探索部１１４は、ステップ２１０の粗探索を続け、フィルタ出力値が閾値を下回った位置を、粗探索終了点とし、メモリ（図示せず）に格納する。
Step 211) The
ステップ２１２） 予め各縁毎に辺探索にて検出する候補の上限数を決めておき、これまでの辺探索で検出したメモリ（図示せず）内の辺候補の数がその数に満たなければ、ステップ２１３に移行し、辺探索開始点に戻り再び辺探索を続ける。また、辺候補の数が上限数に達すれば、その辺における辺探索を終了する。 Step 212) An upper limit number of candidates to be detected by edge search is determined in advance for each edge, and the number of edge candidates in a memory (not shown) detected by the previous edge search does not reach that number. Then, the process proceeds to step 213 to return to the edge search start point and continue the edge search again. If the number of edge candidates reaches the upper limit, edge search for that edge is terminated.
ステップ２１３） ステップ２０８において、密探索が一定長続かなかった場合は、文字などの短い線分の可能性や、求める矩形領域の辺ほどには長く続かない辺の可能性が高いため、途中で密探索は終了し、辺探索開始点に戻り、再び辺探索開始点探索を行う（ステップ２０４に移行する）。
Step 213) If the dense search does not last for a certain length in
ステップ２１４） 全ての縁について、上記の辺探索が終了していれば、辺探索は終了、まだ、探索を行っていない縁があれば、ステップ２０２に戻り、他の縁について辺探索を行う。 Step 214) If the above edge search has been completed for all edges, the edge search is completed. If there is an edge that has not been searched yet, the process returns to step 202, and the edge search is performed for other edges.
次に、隅評価部１２について説明する。
Next, the
上記の辺検出部１１で撮影画像中の全ての辺候補を検出し、メモリ（図示せず）に格納した後は、隅評価部１２において辺候補の組み合わせについて評価し、正解の辺の組み合わせを求める。
After all the edge candidates in the photographed image are detected by the edge detection unit 11 and stored in a memory (not shown), the
図１０は、本発明の一実施の形態における隅評価部の構成を示す。 FIG. 10 shows the configuration of the corner evaluation unit in one embodiment of the present invention.
同図に示す隅評価部１２は、隅座標評価部１２１、四辺形面積評価部１２２、隅総合評価部１２３から構成される。
The
隅座標評価部１２１が、辺検出部１１で検出されメモリ（図示せず）に格納されている辺（辺候補）を読み出して、全ての辺についてその組み合わせを求め、その交点である隅について評価を行い、評価値をメモリ（図示せず）に格納する。
The corner coordinate
図１１は、本発明の一実施の形態における隅座標評価部の構成を示す。隅座標評価部１２１は、辺選択部１２１１、隅座標計算部１２１２、辺端点・隅位置評価部１２１３、辺接続位置関係評価部１２１４、隅形状評価部１２１５から構成される。
FIG. 11 shows a configuration of a corner coordinate evaluation unit in an embodiment of the present invention. The corner coordinate
まず、辺選択部１２１１が、メモリ（図示せず）に格納されている辺候補から２本の辺を選択する。先の図５に示す通り、辺候補は入力画像の上下左右の縁からそれぞれ検出されているため、選択する辺は隣り合う縁同士（例えば、左と上）の組み合わせとする。
First, the
隅座標計算部１２１２は、辺選択部１２１１にて選択された２本の辺の交点を求め、メモリ（図示せず）に格納する。２本の辺は線分であるため、直接交わらない場合もあるが、その場合は仮想的に延長した際の交点を求める。
The corner coordinate
辺端点・隅位置評価部１２１３は、２辺の粗探索終了点座標と２辺から求まる隅座標の位置関係について評価し、評価値をメモリ（図示せず）に格納する。辺検出部１１の検出結果が正しい場合には、２辺の粗探索終了点座標と隅座標とは一致、もしくは、非常に距離が近い状態にあるはずである。逆に不正解の場合には、これらは離れていると考えられる。但し、正しい辺を検出していても途中で探索が途切れる場合もある。以上を考慮して、この２辺の組み合わせについて図１２に示すように評価の大小を考え、この評価値を“connect”とする。具体的な評価値は画像などの条件で異なるが、例えば、“5,3,1”といった評価値を与えることが考えられる。
The side end point / corner
辺接続位置関係評価部１２１４は、２辺の交点がそれぞれの線分の内側で交わっているか、外側で交わっているかを判定する。正解の辺同士の組み合わせであれば、２辺は各線分の外側にて交わる可能性が高いが、画像の内側にある線分などを選択した場合は、線分の途中で２辺が交わる可能性が高い。以上を考慮し、この２辺の組み合わせについて、図１３に示すように評価の大小を与え、評価値を“middle”とする。具体的な評価値は画像などの条件で異なるが、例えば、“5,1”といった評価値を与えることが考えられる。評価値は、メモリ（図示せず）に格納される。
The side connection position
隅形状評価部１２１５は、２辺の交点からその近傍にて辺探索をすることで、交点付近の矩形領域が隅の形状をしているかを確認する。矩形領域の隅から辺探索を開始した場合、矩形領域の縁に沿うＬ字型をした２方向へのみ辺探索を続けることが可能であり、３方向以上へ探索できる十字やＴ字で辺が交わっている場合は、矩形領域の隅である可能性は低いはずである。例えば、矩形領域の左下隅を考えた場合、右方向と上方向へは辺探索は可能であるが、左方向と下方向へは矩形領域が続いていないため、辺探索できないはずである。以上を考慮し、この２辺の組み合わせについて、図１４に示すように評価の大小を与え、評価値を“shape”とする。具体的な評価値は、画像などの条件で異なるが、例えば、“5,1”といった評価値を与えることが考えられる。評価値は、メモリ（図示せず）に格納される。
The corner
次に、隅評価部１２の四辺形評価部１２２について説明する。
Next, the
隅座標評価部１２１が辺の組み合わせについて評価した後、四辺形評価部１２２が４辺の組み合わせについて評価し、評価値をメモリ（図示せず）に格納する。
After the corner coordinate
図１５は、本発明の一実施の形態における四辺形評価部の構成を示す。 FIG. 15 shows a configuration of a quadrangle evaluation unit in one embodiment of the present invention.
同図に示すように、四辺形評価部１２２は、四辺選択部１２２１、四辺形面積計算部１２２２及び、四辺形重心座標評価部１２２３で構成される。
As shown in the figure, the
まず、四辺形選択部１２２１が辺検出部１１で求められたメモリ（図示せず）に格納されている辺候補より、入力画像の上下左右から１辺ずつ計４本の辺候補を選択する。次に、四辺形面積計算部１２２２が、選択された４辺から交わる交点を求め、四辺形の面積と、カメラフレームに対する四辺形の面積比率αを求める。
First, the
また、四辺形重心座評価部１２２３は、選択された４辺からなる矩形領域の対角線の交わる点を矩形領域の重心座標とした時に、カメラフレームの対角線の半分の長さ（Ｌとする）に対する、カメラフレームと矩形領域の重心座標間の距離（Lengとする）の割合を評価する。
Further, the quadrilateral center of
四辺形面積評価部１２２２は、以上の操作を全ての４辺の組み合わせについて行い、その結果をメモリ（図示せず）に格納する。
The quadrangular
次に、隅評価部１２の隅総合評価部１２３について説明する。
Next, the corner
隅総合評価部１２３が、隅座標評価部１２１と四辺形評価部１２２で求めた評価値を用いて、総合評価値を計算し、最適な辺の組み合わせを求め、メモリ（図示せず）に格納する。
The corner
図１６に示すように、カメラフレームに占める画像の面積が大きいほど、総合評価値を高く、面積が小さいほど低くする。また、図１７に示すように、カメラフレームの重心座標と矩形領域の重心座標が近い程評価値を高くする。例えば、総合評価値を
（connect＊middle＊shape）(１+α/100)(１+√Leng/L)
という計算式により計算する。但し、電子透かしの検出にはある程度の画素数が必要であるため、検出する矩形領域の面積に下限値を設け、αがある閾値（ＴＨ）よりも小さい場合には、総合評価値を０とする。
As shown in FIG. 16, the overall evaluation value increases as the area of the image in the camera frame increases, and decreases as the area decreases. Also, as shown in FIG. 17, the evaluation value is increased as the centroid coordinates of the camera frame and the centroid coordinates of the rectangular area are closer. For example, the total evaluation value is (connect * middle * shape) (1 + α / 100) (1 + √Leng / L)
Calculate with the following formula. However, since a certain number of pixels are required for detection of the digital watermark, a lower limit is provided for the area of the rectangular area to be detected, and when α is smaller than a certain threshold value (TH), the total evaluation value is set to 0. To do.
総合評価値の評価計算式は、この式に限定されるわけではなく、撮影条件や撮影対象などにより、最適な式は様々に変化し、和集合を組み合わせて、例えば、
（2*connect+middle+shape）(√α)(１+Leng/L)
といった式も考えられる。
The evaluation calculation formula of the comprehensive evaluation value is not limited to this formula, and the optimal formula changes variously depending on shooting conditions, shooting targets, etc.
(2 * connect + middle + shape) (√α) (1 + Leng / L)
Such a formula can also be considered.
なお、上記の個々の評価値についても、本実施の形態に限定されるものではない。評価値は高低の２段階と高中低の３段階だけではなく、５段階などの複数段階の評価や、離散的ではなく連続的な評価値、０−１に正規化された評価値などの重み付けを変化させることも考えられる。例えば、評価値“connect”であれば、隅座標と線分端点との距離を連続的な評価値で表現したり、評価値“shape”であれば、線分の交わり具合をＬ字、Ｔ字、十字と分けて評価することなどが考えられる。 The individual evaluation values are not limited to the present embodiment. The evaluation values are not only two levels of high and low and three levels of high, middle and low, but also multi-level evaluations such as five levels, continuous evaluation values rather than discrete values, and weightings such as evaluation values normalized to 0-1. It is also possible to change For example, if the evaluation value is “connect”, the distance between the corner coordinates and the end point of the line segment is expressed by a continuous evaluation value. If the evaluation value is “shape”, the intersection of the line segments is L-shaped, T It is possible to evaluate separately from letters and crosses.
また、隅評価部１２へは、辺検出部１１で検出した線分が入力されているが、ハフ変換で検出した直線や目視で検出した直線など、何らかの手法により得られた両端座標のわかる線であればよい。画像の端から端までの直線であった場合でも、画像の端の座標を線分の端点座標と考えればよく、これにより隅評価手法への適用が可能となる。さらに、評価値“middle”や“connect”を用いない評価式（例えば、“shape*α”など）によって判定を行うことなどにより、直線のみの組み合わせに対応することも考えられる。
In addition, although the line segment detected by the edge detection unit 11 is input to the
次に、隅はみ出し画像例について説明する。 Next, an example of a protruding corner image will be described.
図１８は、本発明の一実施の形態におけるカメラフレームからはみ出した矩形領域の例を示す。同図に示すように、撮影対象画像の一つの隅がカメラフレームの外側に出てしまい、隅が欠けた状態の画像の場合もありうる。このとき、欠けた隅について評価値“shape”や“connect”は低い値となるが、評価値“middle”は通常の値を保つ。また、他の３つの隅の評価値や面積評価値が十分に高いことが考えられ、この組み合わせについて最も評価値が高い場合には、この欠けた隅を一つの隅として含めた矩形領域を検出することが可能である。 FIG. 18 shows an example of a rectangular region that protrudes from the camera frame according to the embodiment of the present invention. As shown in the figure, there may be a case where one corner of the image to be photographed is outside the camera frame and the corner is missing. At this time, the evaluation values “shape” and “connect” are low for the missing corner, but the evaluation value “middle” is kept at a normal value. In addition, the evaluation value and area evaluation value of the other three corners may be sufficiently high. When the evaluation value is the highest for this combination, a rectangular area including the missing corner as one corner is detected. Is possible.
次に、角丸まり画像例について説明する。 Next, an example of a rounded corner image will be described.
図１９は、本発明の一実施の形態における角の丸まった矩形領域の例を示す。同図に示すように、矩形領域の隅が丸まっている場合は、辺検出部１１による辺の端点（粗探索終了点）は同図Ａの位置になる。この時、２辺の延長上における交点は同図中Ｂであるため、評価値“shape”や“connect”は低い評価値となる可能性が高い。しかし、他の３つの隅の評価値が十分に高い場合や、評価値“middle”や画面評価の結果が他の辺候補の組み合わせよりも十分に高い場合に、評価式によっては、この丸まった隅が最も評価値が高くなることが考えられる。これにより、隅が丸まった矩形領域や、あるいは角の欠けた多角形なども本方法により検出可能となる。 FIG. 19 shows an example of a rectangular area with rounded corners in an embodiment of the present invention. As shown in the figure, when the corner of the rectangular area is rounded, the end point (coarse search end point) of the side by the side detection unit 11 is the position shown in FIG. At this time, since the intersection point on the extension of the two sides is B in the figure, the evaluation values “shape” and “connect” are likely to be low evaluation values. However, if the evaluation values at the other three corners are sufficiently high, or if the evaluation value “middle” or the result of the screen evaluation is sufficiently higher than the combination of other side candidates, this rounding may occur depending on the evaluation formula. It is conceivable that the corner has the highest evaluation value. Thereby, a rectangular region with rounded corners or a polygon with missing corners can be detected by this method.
次に、多画像の例について説明する。 Next, an example of multiple images will be described.
図２０は、本発明の一実施の形態における多画像中からの矩形領域抽出の例である。 FIG. 20 is an example of rectangular area extraction from multiple images according to an embodiment of the present invention.
同図に示すように、対象画像以外に他の画像が並んでいる場合など、求める矩形領域の辺以外に多数の辺候補がある場合について示す。辺検出部１１では、なるべく多くの辺候補を検出するので、図２０右側に示す太い線分を検出する。但し、画像右側の波打った線は、辺探索開始点探索において辺探索開始点を検出するが、その線が一定方向に連続して続かないため、辺候補としては検出されない。また、画像上部の幅の狭い矩形領域も、辺探索開始点の検出はされ、密探索が実行されるが、辺が連続して連なる距離が短いため、一定長の辺探索が続かず、辺候補として検出されることはない。 As shown in the figure, there will be shown a case where there are a large number of side candidates other than the sides of the desired rectangular area, such as when other images are arranged in addition to the target image. Since the edge detection unit 11 detects as many edge candidates as possible, a thick line segment shown on the right side of FIG. 20 is detected. However, the wavy line on the right side of the image detects the edge search start point in the edge search start point search, but since the line does not continue in a certain direction, it is not detected as an edge candidate. In addition, a narrow rectangular area at the top of the image is also detected as a side search start point, and a dense search is performed. It is not detected as a candidate.
この画像の例では、辺検出部１１にて、求める矩形領域の外側にある、他の矩形領域の辺についても検出するので、検出した辺候補について隅評価部１２において評価が行われる。画像下側の辺を考えた場合、図２０に示すように、（１）（２）（３）と３つの候補がある。これらと組み合わせられる辺として、左側にはＡ，Ｂ，Ｃと３つの候補、右側にはａ，ｂ，ｃと３つの候補があり、これらの組み合わせから評価値を計算し、最適な組み合わせを求める。
In this example of the image, since the edge detection unit 11 also detects the sides of the other rectangular regions outside the desired rectangular region, the
図２０内の（１）の辺であれば、Ｂとｂの組み合わせが最も評価値が高くなるといえる。Ａやａを選んだ場合には、線分の粗探索終了座標とその交点座標が離れているため、評価値“connect”が低い値となる。Ｃやｃを選んだ場合には、評価値“connect”に加えて、２本の辺候補が線分の途中で交わるために、評価値“middle”も低い値となる。評価値“shpae”については、どの候補の選び方をしても、交点座標から最適なＬ字型の二方向への探索はできないため、低い値となる。（２）の場合も（１）と略同様にして、Ｂとｂの組み合わせが最も評価値が高くなると言える。（３）の場合は、Ｃとａの組み合わせが最も評価値が高くなる。 In the case of the side (1) in FIG. 20, it can be said that the combination of B and b has the highest evaluation value. When A or a is selected, the evaluation value “connect” is a low value because the coarse search end coordinates of the line segment and the intersection coordinates thereof are separated. When C or c is selected, in addition to the evaluation value “connect”, the two side candidates intersect in the middle of the line segment, so the evaluation value “middle” is also a low value. The evaluation value “shpae” is a low value because no candidate can be selected in any way from the intersection coordinates in the optimal L-shaped two directions. In the case of (2), it can be said that the combination of B and b has the highest evaluation value in substantially the same manner as (1). In the case of (3), the combination of C and a has the highest evaluation value.
次に、（１）、（２）、（３）を比べた場合、（２）（３）は辺候補の粗探索終了点同士がくっついているため、評価値“connect”の値が最も高くなるといえる。また、評価値“shape”についても、交点からＬ字２方向へ探索可能なため、（１）より高い値となる。（２）と（３）を比較した場合、それぞれの矩形領域が囲む面積が（２）の方が大きいと言えるため、最終的に（２）、Ｂ，ｂの組み合わせが求める矩形領域と判定される。 Next, when (1), (2), and (3) are compared, since (2) and (3) are close to the rough search end points of the edge candidates, the evaluation value “connect” is the highest. It can be said. The evaluation value “shape” is also higher than (1) because it can be searched from the intersection point in the L-shaped two directions. When comparing (2) and (3), it can be said that the area enclosed by each rectangular area is larger in (2), so it is finally determined as a rectangular area for which the combination of (2) and B and b is desired. The
逆に内側の矩形領域を取得したい場合には、面積による重み付けを変化させ、面積が小さくても評価値が高くなるようにしたり、面積に上限値を設定することなどが考えられる。 Conversely, when it is desired to acquire the inner rectangular region, it is possible to change the weighting according to the area so that the evaluation value increases even if the area is small, or an upper limit value is set for the area.
「片山淳、中村高雄、山室雅史、曽根原登：『電子透かし読み取りのためのｉアプリ高速コーナー検出アルゴリズム』、電子情報通信学会論文誌、Vol. J88-D-II, No.6, 2005」においては、撮影画像からの電子透かし読み取りのための矩形領域の隅検出を行っているが、撮影画像の総ピクセルに数％程度の画素しか参照しておらず、携帯端末上において実行可能であることが示されている。本発明における方法でも、辺検出、隅評価の部分では必要最小限の画素しか利用していないことから、携帯端末上において実行可能であるといえる。 In "Kaeda Katayama, Takao Nakamura, Masafumi Yamamuro, Noboru Sonehara:" I-αppli Fast Corner Detection Algorithm for Digital Watermark Reading ", IEICE Transactions, Vol. J88-D-II, No.6, 2005 Detects corners of a rectangular area for reading a digital watermark from a captured image, but refers to only a few percent of the total pixels of the captured image and can be executed on a portable terminal. It is shown. Even in the method according to the present invention, it can be said that it can be executed on a portable terminal because only the minimum necessary pixels are used in the edge detection and corner evaluation portions.
また、本発明は、上記の図６に示す画像入力１０、辺検出部１１、隅評価部１２、検出結果出力部１３の動作をプログラムとして構築し、これらから構成される辺検出装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることも可能である。
Further, the present invention constructs the operations of the
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made within the scope of the claims.
本発明は、上記の実施の形態のみに依存するものではなく、映像や他の様々なメディアなどにも適用できるものである。文字認識やパターン認識の前処理として、風景中の矩形領域を抽出（看板やＴＶの領域検出）するといった利用方法も考えられる。 The present invention does not depend only on the above-described embodiment, but can also be applied to video and other various media. As preprocessing for character recognition and pattern recognition, a method of using a rectangular area in a landscape (detecting a signboard or TV area) may be considered.
１０ 画像入力手段、画像入力部
１１ 辺検出手段、辺検出部
１２ 隅評価手段、隅評価部
１３ 検出結果出力手段、検出結果出力部
１４ 記憶手段
１１１ 辺探索開始初期点決定部
１１２ 辺探索開始点探索部
１１３ 密探索部
１１４ 粗探索部
１２１ 隅座標評価部
１２２ 四辺形面積評価部
１２３ 隅総合評価部
１２１１ 辺選択部
１２１２ 隅座標計算部
１２１３ 辺端点・隅位置評価部
１２１４ 辺接続位置関係評価部
１２１５ 隅形状評価部
１２２１ 四辺選択部
１２２２ 四辺形面積計算部
１２２３ 四辺形重心座評価部
DESCRIPTION OF
Claims (32)
画像入力手段において、入力された画像を取得する画像入力ステップと、
辺検出手段において、取得した前記画像中の矩形領域の辺を検出して、辺候補として記憶手段に格納する辺検出ステップと、
隅評価手段において、前記記憶手段から前記辺候補を取得し、該辺候補の交点を求め、記憶手段に格納し、該交点について矩形領域の隅を形成する組み合わせとなるかを判定し、隅評価結果として記憶手段に格納する隅評価ステップと、
検出結果出力手段において、前記記憶手段に格納されている前記隅評価結果に基づいて矩形領域の隅座標を出力する検出結果出力ステップと、
を行うことを特徴とする辺検出方法。 A side detection method in an apparatus for detecting a side of a rectangular region surrounded by four sides in an image,
In the image input means, an image input step for acquiring the input image;
In the edge detection means, an edge detection step of detecting the edge of the rectangular area in the acquired image and storing it in the storage means as an edge candidate;
In the corner evaluation means, the edge candidate is acquired from the storage means, the intersection of the edge candidate is obtained, stored in the storage means, and it is determined whether the intersection is a combination that forms a corner of the rectangular area, and the corner evaluation is performed. As a result, a corner evaluation step for storing in the storage means;
In the detection result output means, a detection result output step for outputting the corner coordinates of the rectangular area based on the corner evaluation result stored in the storage means;
An edge detection method characterized by:
取得した前記画像に対し、フィルタ処理手段において、該画像の各縁上の任意の一点をフィルタ処理開始点とし、該フィルタ処理開始点から該画像の内側に向かって辺と直交する方向へフィルタ処理を行う、請求項１記載の辺検出方法。 In the side detection step,
For the acquired image, the filter processing means sets an arbitrary one point on each edge of the image as a filter processing start point, and performs filter processing in a direction orthogonal to the side from the filter processing start point toward the inside of the image The edge detection method according to claim 1, wherein:
フィルタ処理手段が、入力された前記画像の各縁上の辺探索開始点から該画像内部に向かい各ピクセル毎にフィルタ処理を行い、フィルタ出力値が閾値を超えた点を矩形領域の辺候補の辺探索開始点として検出する、請求項１または２記載の辺検出方法。 In the side detection step,
The filter processing means performs a filter process for each pixel from the edge search start point on each edge of the input image toward the inside of the image, and determines the point where the filter output value exceeds the threshold as the edge candidate of the rectangular area. The edge detection method according to claim 1, wherein the edge detection method is detected as an edge search start point.
フィルタ処理手段により検出した前記辺探索開始点について、該辺探索開始点から、該フィルタ処理手段での探索方向と直交する方向へ向かい、色調変化が連続的に続くことを判定する、請求項１乃至３のいずれか１項記載の辺検出方法。 In the side detection step,
2. The edge search start point detected by the filter processing means is determined from the edge search start point in a direction orthogonal to the search direction in the filter processing means to determine that the color change continues continuously. 4. The edge detection method according to any one of items 1 to 3.
前記辺探索開始点からフィルタ処理と直交する２方向へ辺探索を行った点の位置関係より、辺探索方向を示すベクトルを決定する、請求項１乃至４のいずれか１項記載の辺検出方法。 In the side detection step,
5. The edge detection method according to claim 1, wherein a vector indicating an edge search direction is determined based on a positional relationship between points where edge search has been performed in two directions orthogonal to the filter processing from the edge search start point. .
フィルタ処理を行ったピクセルから、辺探索方向ベクトルの向きに隣接する１ピクセルとその周辺のピクセルについてフィルタ処理による判定を行い、該フィルタ処理が連続して数ピクセル続くまで繰り返す、請求項１乃至５のいずれか１項記載の辺検出方法。 In the side detection step,
6. From the pixel that has been subjected to the filtering process, a determination is made by the filtering process on one pixel adjacent to the direction of the edge search direction vector and surrounding pixels, and the process is repeated until the filtering process continues several pixels. The side detection method according to any one of the above.
辺探索方向ベクトルの向きに向かい、数ピクセルおきに飛び飛びにフィルタ処理による判定を行う、請求項１乃至６のいずれか１項記載の辺検出方法。 In the side detection step,
The edge detection method according to any one of claims 1 to 6, wherein the determination is performed by filter processing while skipping every several pixels toward the direction of the edge search direction vector.
記憶手段に格納されている辺候補を読み出して入力とし、交点計算手段において、全ての辺の組み合わせについて、辺の延長上も含めた交点を求める交点計算ステップと、
評価値計算手段において、前記交点を構成する辺と該交点について第１の評価値を求める評価値計算ステップと、
検出した辺から矩形を構成する四辺の組み合わせについて第２の評価値を求め、複数の評価値を組み合わせることで矩形の総合評価を行う評価ステップと、
を行うことを特徴とする隅評価方法。 A corner evaluation method,
Intersection calculation step for obtaining the intersection including the extension of the edges for all combinations of the edges in the intersection calculation means, by reading out the edge candidates stored in the storage means,
In the evaluation value calculation means, an evaluation value calculation step for obtaining a first evaluation value for the side constituting the intersection and the intersection;
An evaluation step for obtaining a second evaluation value for a combination of four sides constituting a rectangle from the detected sides, and performing a comprehensive evaluation of the rectangle by combining a plurality of evaluation values;
The corner evaluation method characterized by performing.
辺端点及び前記交点と該交点を成す２本の辺の交点側の端点座標との距離について評価する請求項１０記載の隅評価方法。 In the evaluation step,
The corner evaluation method according to claim 10, wherein the corner end point and the distance between the intersection point and the end point coordinates on the intersection side of the two sides forming the intersection point are evaluated.
一つの交点を成す２本の辺について、片方の辺の端点がもう片方の辺の外側に位置するか、内側に位置するかという接続位置について評価する請求項１０記載の隅評価方法。 In the evaluation step,
The corner evaluation method according to claim 10, wherein for two sides forming one intersection, a connection position is evaluated as to whether an end point of one side is located outside or inside the other side.
前記交点計算ステップで求められた前記交点と該交点をなす２本の線分について、該交点を開始点として前記辺検出ステップと同様の辺探索を行い、矩形領域における隅位置と２本の辺の位置から、特定の方向へのみ探索が可能であるかについて評価する請求項１０記載の隅評価方法。 In the evaluation step,
For the two line segments forming the intersection and the intersection obtained in the intersection calculation step, a side search similar to the edge detection step is performed using the intersection as a starting point, and a corner position and two sides in the rectangular area are detected. The corner evaluation method according to claim 10, wherein an evaluation is made as to whether or not a search is possible only in a specific direction from the position.
画像の各外辺からそれぞれ辺候補を一本ずつ選択し、
選択された４本の辺候補によって形成される四辺形の面積を求める請求項１０記載の隅評価方法。 In the evaluation step,
Select one edge candidate from each outer edge of the image,
The corner evaluation method according to claim 10, wherein an area of a quadrilateral formed by the selected four side candidates is obtained.
選択された４本の辺からなる矩形領域の対角線の交わる点を矩形領域の重心座標間の距離の割合を評価する請求項１０記載の隅評価方法。 In the evaluation step,
The corner evaluation method according to claim 10, wherein the ratio of the distance between the barycentric coordinates of the rectangular area is evaluated at a point where diagonal lines of the selected rectangular area consisting of four sides intersect.
入力された画像を取得する画像入力手段と、
取得した前記画像中の矩形領域の辺を検出して、辺候補として記憶手段に格納する辺検出手段と、
前記記憶手段から前記辺候補を取得し、該辺候補の交点を求め、記憶手段に格納し、該交点について矩形領域の隅を形成する組み合わせとなるかを判定し、隅評価結果として記憶手段に格納する隅評価手段と、
前記隅評価手段の前記隅評価結果に基づいて矩形領域の隅座標を出力する検出結果出力手段と、
を有することを特徴とする辺検出装置。 A side detection device for detecting a side of a rectangular region surrounded by four sides in an image,
An image input means for acquiring the input image;
Edge detection means for detecting edges of the rectangular area in the acquired image and storing them in the storage means as edge candidates;
The edge candidate is acquired from the storage means, the intersection of the edge candidate is obtained, stored in the storage means, it is determined whether the intersection is a combination that forms a corner of the rectangular area, and the corner evaluation result is stored in the storage means. A corner evaluation means for storing;
Detection result output means for outputting corner coordinates of a rectangular area based on the corner evaluation result of the corner evaluation means;
An edge detection device comprising:
取得した前記画像に対し、該画像の各縁上の任意の一点をフィルタ処理開始点とし、該フィルタ処理開始点から該画像の内側に向かって辺と直交する方向へフィルタ処理を行うフィルタ手段を含む請求項１６記載の辺検出装置。 The edge detecting means is
Filter means for performing filtering in the direction perpendicular to the side from the filtering processing start point toward the inside of the image with respect to the acquired image as an arbitrary point on each edge of the image The edge detection apparatus of Claim 16 containing.
入力された前記画像の各縁上の辺探索開始点から該画像内部に向かい各ピクセルごとにフィルタ処理を行い、フィルタ出力値が閾値を超えた点を矩形領域の辺候補の辺探索開始点として検出する、請求項１６または１７記載の辺検出装置。 The filter processing means includes
A filter process is performed for each pixel from the edge search start point on each edge of the input image toward the inside of the image, and the point where the filter output value exceeds the threshold is set as the edge search start point of the edge candidate of the rectangular region The side detection device according to claim 16 or 17, which detects the side detection device.
フィルタ処理手段で検出した前記辺探索開始点について、該辺探索開始点から、該フィルタ処理手段での探索方向と直交する方向へ向かい、色調変化が連続的に続くことを判定する辺探索手段を有する、請求項１５乃至１７のいずれか１項記載の辺検出装置。 The edge detecting means is
Edge search means for determining that the color change continuously continues from the edge search start point in a direction orthogonal to the search direction in the filter processing means with respect to the edge search start point detected by the filter processing means. The side detection device according to claim 15, further comprising:
前記辺探索開始点からフィルタ処理と直交する２方向へ辺探索を行った点の位置関係より、辺探索方向を示すベクトルを決定する探索方向ベクトル決定手段を有する、請求項１６乃至１９のいずれか１項記載の辺検出装置。 The edge searching means of the edge detecting means is
The search direction vector determination means which determines the vector which shows an edge search direction from the positional relationship of the point which performed the edge search to the two directions orthogonal to the filter process from the said edge search start point. The side detection device according to claim 1.
前記フィルタ処理手段のフィルタ処理を行ったピクセルから、辺探索方向ベクトルの向きに隣接する１ピクセルとその周辺のピクセルについてフィルタ処理による判定を行い、該フィルタ処理が連続して数ピクセル続くまで繰り返す密探索手段を有する、請求項１６乃至２０のいずれか１項記載の辺検出装置。 The edge search means includes
From the pixels subjected to the filter processing of the filter processing means, one pixel adjacent to the direction of the edge search direction vector and surrounding pixels are determined by the filter processing, and the pixel processing is repeated until the filter processing continues several pixels continuously. The side detection device according to claim 16, further comprising a search unit.
辺探索方向ベクトルの向きに向かい、数ピクセルおきに飛び飛びにフィルタ処理による判定を行う粗探索手段を有する、請求項１６乃至２１のいずれか１項記載の辺検出装置。 The edge search means includes
The edge detection device according to any one of claims 16 to 21, further comprising rough search means for performing determination by filter processing every few pixels in the direction of the edge search direction vector.
フィルタ処理による連続性が判定できなくなった部分を辺の端点として検出を行う線分検出手段を有する、請求項１６乃至２２のいずれか１項記載の辺検出装置。 The edge search means includes
The side detection device according to any one of claims 16 to 22, further comprising line segment detection means for detecting a part where continuity cannot be determined by filter processing as an end point of the side.
辺の端点座標の定まった線分として辺を検出する手段を有する、請求項１６乃至２３のいずれか１項記載の辺検出装置。 The edge detecting means is
The side detection device according to any one of claims 16 to 23, further comprising means for detecting a side as a line segment with a fixed end point coordinate.
記憶手段に格納されている辺候補を読み出して入力とし、全ての辺の組み合わせについて、辺の延長上も含めた交点を求める交点計算手段と、
前記交点を構成する辺と該交点について第１の評価値を求める評価値計算手段と、
前記辺検出装置で検出された辺から矩形を構成する四辺の組み合わせについて第２の評価値を求めることで矩形の総合評価を行う評価手段と、
を有することを特徴とする隅評価装置。 A corner evaluation device used in a side detection device,
Intersection calculation means for reading out the edge candidates stored in the storage means and using them as input, and obtaining intersection points including the extension of the edges for all combinations of edges;
An evaluation value calculating means for obtaining a first evaluation value for the side constituting the intersection and the intersection;
An evaluation means for performing a comprehensive evaluation of the rectangle by obtaining a second evaluation value for a combination of four sides constituting the rectangle from the sides detected by the side detection device;
A corner evaluation apparatus comprising:
辺端点、前記交点計算手段で求めた前記交点と該交点を成す２本の辺の交点側の端点座標との距離について評価する手段を含む、請求項２５記載の隅評価装置。 The evaluation means includes
26. The corner evaluation apparatus according to claim 25, further comprising means for evaluating a distance between a side edge point, the intersection point obtained by the intersection point calculation means, and an end point coordinate on the intersection point of two sides forming the intersection point.
一つの交点を成す２本の辺について、片方の辺の端点がもう片方の辺の外側に位置するか、内側に位置するかという接続位置について評価する辺接続位置関係評価手段を含む請求項２５記載の隅評価装置。 The evaluation means includes
26. Side connection positional relationship evaluation means for evaluating a connection position as to whether an end point of one side is located outside or inside of the other side for two sides forming one intersection. The described corner evaluation device.
前記交点計算手段で求めた前記交点と該交点を成す２本の線分について、該交点を開始点として、辺検出装置の辺探索手段と同様に辺探索を行い、矩形領域における隅位置と２本の辺の位置から、特定の方向へのみ探索が可能であるかについて評価する隅形状評価手段を含む請求項２５記載の隅評価装置。 The evaluation means includes
For the two line segments that form the intersection and the intersection obtained by the intersection calculation means, the edge search is performed using the intersection as a start point in the same manner as the edge search means of the edge detection device, and the corner position in the rectangular area is calculated as 2 26. The corner evaluation apparatus according to claim 25, further comprising a corner shape evaluation unit that evaluates whether or not a search is possible only in a specific direction from the position of the side of the book.
画像の各外辺からそれぞれ辺候補を一本ずつ選択し、
選択された４本の辺候補によって形成される四辺形の面積を求める四辺形面積評価手段を含む請求項２５記載の隅評価装置。 The evaluation value means is:
Select one edge candidate from each outer edge of the image,
26. The corner evaluation apparatus according to claim 25, further comprising quadrilateral area evaluation means for obtaining an area of a quadrilateral formed by the four selected side candidates.
選択された４本の辺からなる矩形領域の対角線の交わる点を矩形領域の重心座標間の距離の割合を評価する四辺形重心評価手段を含む請求項２５記載の隅評価装置。 The evaluation means includes
26. The corner evaluation apparatus according to claim 25, further comprising a quadrilateral centroid evaluation means for evaluating a ratio of a distance between centroid coordinates of the rectangular area at a point where diagonal lines of the selected rectangular area of the four sides intersect.
コンピュータを、
前記請求項１６乃至２４記載の辺検出装置として機能させることを特徴とする辺検出プログラム。 A side detection program for detecting a side of a rectangular area surrounded by four sides in an image,
Computer
25. A side detection program that functions as the side detection device according to claim 16.
コンピュータを、
前記請求項２５乃至３０記載の隅評価装置として機能させることを特徴とする隅評価プログラム。 A corner evaluation program for evaluating a corner,
Computer
31. A corner evaluation program that functions as the corner evaluation apparatus according to claim 25.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005237857A JP4525519B2 (en) | 2005-08-18 | 2005-08-18 | Quadrilateral evaluation method, apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005237857A JP4525519B2 (en) | 2005-08-18 | 2005-08-18 | Quadrilateral evaluation method, apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007052670A true JP2007052670A (en) | 2007-03-01 |
| JP4525519B2 JP4525519B2 (en) | 2010-08-18 |
Family
ID=37917067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005237857A Active JP4525519B2 (en) | 2005-08-18 | 2005-08-18 | Quadrilateral evaluation method, apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4525519B2 (en) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010062722A (en) * | 2008-09-02 | 2010-03-18 | Casio Comput Co Ltd | Image processing apparatus and computer program |
| JP2012014430A (en) * | 2010-06-30 | 2012-01-19 | Canon Inc | Image processing device, control method and program |
| JP2012114665A (en) * | 2010-11-24 | 2012-06-14 | Nippon Telegr & Teleph Corp <Ntt> | Feature figure adding method, feature figure detecting method, feature figure adding device, feature figure detecting device and program |
| JP2012216184A (en) * | 2012-01-24 | 2012-11-08 | Nanao Corp | Display device, image processing device, image area detecting method, and computer program |
| JP2013033406A (en) * | 2011-08-02 | 2013-02-14 | Ntt Comware Corp | Image processing device, image processing method, and image processing program |
| JP2013041315A (en) * | 2011-08-11 | 2013-02-28 | Fujitsu Ltd | Image recognition device and image recognition method |
| JP2013106160A (en) * | 2011-11-11 | 2013-05-30 | Pfu Ltd | Image processing apparatus, rectangle detection method, and computer program |
| US8805077B2 (en) | 2011-04-06 | 2014-08-12 | Fuji Xerox Co., Ltd. | Subject region detecting apparatus |
| JP2016028363A (en) * | 2012-01-12 | 2016-02-25 | コファックス， インコーポレイテッド | Systems and methods for mobile image capture and processing |
| DE102016113163A1 (en) | 2015-07-21 | 2017-01-26 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and storage medium |
| US9747504B2 (en) | 2013-11-15 | 2017-08-29 | Kofax, Inc. | Systems and methods for generating composite images of long documents using mobile video data |
| US9760788B2 (en) | 2014-10-30 | 2017-09-12 | Kofax, Inc. | Mobile document detection and orientation based on reference object characteristics |
| US9767379B2 (en) | 2009-02-10 | 2017-09-19 | Kofax, Inc. | Systems, methods and computer program products for determining document validity |
| US9767354B2 (en) | 2009-02-10 | 2017-09-19 | Kofax, Inc. | Global geographic information retrieval, validation, and normalization |
| US9769354B2 (en) | 2005-03-24 | 2017-09-19 | Kofax, Inc. | Systems and methods of processing scanned data |
| US9779296B1 (en) | 2016-04-01 | 2017-10-03 | Kofax, Inc. | Content-based detection and three dimensional geometric reconstruction of objects in image and video data |
| US9819825B2 (en) | 2013-05-03 | 2017-11-14 | Kofax, Inc. | Systems and methods for detecting and classifying objects in video captured using mobile devices |
| US9946954B2 (en) | 2013-09-27 | 2018-04-17 | Kofax, Inc. | Determining distance between an object and a capture device based on captured image data |
| US9996741B2 (en) | 2013-03-13 | 2018-06-12 | Kofax, Inc. | Systems and methods for classifying objects in digital images captured using mobile devices |
| US10146795B2 (en) | 2012-01-12 | 2018-12-04 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
| US10146803B2 (en) | 2013-04-23 | 2018-12-04 | Kofax, Inc | Smart mobile application development platform |
| US10467465B2 (en) | 2015-07-20 | 2019-11-05 | Kofax, Inc. | Range and/or polarity-based thresholding for improved data extraction |
| US10803350B2 (en) | 2017-11-30 | 2020-10-13 | Kofax, Inc. | Object detection and image cropping using a multi-detector approach |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0789063A (en) * | 1993-09-24 | 1995-04-04 | Toshiba Corp | Printed matter inspecting system |
| JPH08125855A (en) * | 1994-10-26 | 1996-05-17 | Hitachi Ltd | Intersection correcting device for table frame line, table recognition device, and optical character reader |
| JPH08221506A (en) * | 1995-02-16 | 1996-08-30 | Toshiba Corp | Device and method for recognizing business document |
| JP2004310726A (en) * | 2003-03-24 | 2004-11-04 | Fuji Xerox Co Ltd | Image inspection method, image inspection apparatus, and program |
-
2005
- 2005-08-18 JP JP2005237857A patent/JP4525519B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0789063A (en) * | 1993-09-24 | 1995-04-04 | Toshiba Corp | Printed matter inspecting system |
| JPH08125855A (en) * | 1994-10-26 | 1996-05-17 | Hitachi Ltd | Intersection correcting device for table frame line, table recognition device, and optical character reader |
| JPH08221506A (en) * | 1995-02-16 | 1996-08-30 | Toshiba Corp | Device and method for recognizing business document |
| JP2004310726A (en) * | 2003-03-24 | 2004-11-04 | Fuji Xerox Co Ltd | Image inspection method, image inspection apparatus, and program |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9769354B2 (en) | 2005-03-24 | 2017-09-19 | Kofax, Inc. | Systems and methods of processing scanned data |
| JP4715888B2 (en) * | 2008-09-02 | 2011-07-06 | カシオ計算機株式会社 | Image processing apparatus and computer program |
| JP2010062722A (en) * | 2008-09-02 | 2010-03-18 | Casio Comput Co Ltd | Image processing apparatus and computer program |
| US9767379B2 (en) | 2009-02-10 | 2017-09-19 | Kofax, Inc. | Systems, methods and computer program products for determining document validity |
| US9767354B2 (en) | 2009-02-10 | 2017-09-19 | Kofax, Inc. | Global geographic information retrieval, validation, and normalization |
| JP2012014430A (en) * | 2010-06-30 | 2012-01-19 | Canon Inc | Image processing device, control method and program |
| JP2012114665A (en) * | 2010-11-24 | 2012-06-14 | Nippon Telegr & Teleph Corp <Ntt> | Feature figure adding method, feature figure detecting method, feature figure adding device, feature figure detecting device and program |
| US8805077B2 (en) | 2011-04-06 | 2014-08-12 | Fuji Xerox Co., Ltd. | Subject region detecting apparatus |
| JP2013033406A (en) * | 2011-08-02 | 2013-02-14 | Ntt Comware Corp | Image processing device, image processing method, and image processing program |
| JP2013041315A (en) * | 2011-08-11 | 2013-02-28 | Fujitsu Ltd | Image recognition device and image recognition method |
| JP2013106160A (en) * | 2011-11-11 | 2013-05-30 | Pfu Ltd | Image processing apparatus, rectangle detection method, and computer program |
| US10664919B2 (en) | 2012-01-12 | 2020-05-26 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
| US10657600B2 (en) | 2012-01-12 | 2020-05-19 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
| JP2016028363A (en) * | 2012-01-12 | 2016-02-25 | コファックス， インコーポレイテッド | Systems and methods for mobile image capture and processing |
| US10146795B2 (en) | 2012-01-12 | 2018-12-04 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
| JP2012216184A (en) * | 2012-01-24 | 2012-11-08 | Nanao Corp | Display device, image processing device, image area detecting method, and computer program |
| US9996741B2 (en) | 2013-03-13 | 2018-06-12 | Kofax, Inc. | Systems and methods for classifying objects in digital images captured using mobile devices |
| US10127441B2 (en) | 2013-03-13 | 2018-11-13 | Kofax, Inc. | Systems and methods for classifying objects in digital images captured using mobile devices |
| US10146803B2 (en) | 2013-04-23 | 2018-12-04 | Kofax, Inc | Smart mobile application development platform |
| US9819825B2 (en) | 2013-05-03 | 2017-11-14 | Kofax, Inc. | Systems and methods for detecting and classifying objects in video captured using mobile devices |
| US9946954B2 (en) | 2013-09-27 | 2018-04-17 | Kofax, Inc. | Determining distance between an object and a capture device based on captured image data |
| US9747504B2 (en) | 2013-11-15 | 2017-08-29 | Kofax, Inc. | Systems and methods for generating composite images of long documents using mobile video data |
| US9760788B2 (en) | 2014-10-30 | 2017-09-12 | Kofax, Inc. | Mobile document detection and orientation based on reference object characteristics |
| US10467465B2 (en) | 2015-07-20 | 2019-11-05 | Kofax, Inc. | Range and/or polarity-based thresholding for improved data extraction |
| US9871947B2 (en) | 2015-07-21 | 2018-01-16 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| DE102016113163A1 (en) | 2015-07-21 | 2017-01-26 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and storage medium |
| US9779296B1 (en) | 2016-04-01 | 2017-10-03 | Kofax, Inc. | Content-based detection and three dimensional geometric reconstruction of objects in image and video data |
| US10803350B2 (en) | 2017-11-30 | 2020-10-13 | Kofax, Inc. | Object detection and image cropping using a multi-detector approach |
| US11062176B2 (en) | 2017-11-30 | 2021-07-13 | Kofax, Inc. | Object detection and image cropping using a multi-detector approach |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4525519B2 (en) | 2010-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4525519B2 (en) | Quadrilateral evaluation method, apparatus and program | |
| Lee et al. | Interactive e-learning system using pattern recognition and augmented reality | |
| US20050242186A1 (en) | 2D rectangular code symbol scanning device and 2D rectangular code symbol scanning method | |
| US8811725B2 (en) | Learning device, learning method, identification device, identification method, and program | |
| US20120092329A1 (en) | Text-based 3d augmented reality | |
| JP5366756B2 (en) | Information processing apparatus and information processing method | |
| EP2492873B1 (en) | Image processing program, image processing apparatus, image processing system, and image processing method | |
| WO2010150639A1 (en) | Method and device for determining shape congruence in three dimensions | |
| TWI571828B (en) | Optical navigation method and device using same | |
| JP2009211490A (en) | Image recognition method and image recognition device | |
| KR101344851B1 (en) | Device and Method for Processing Image | |
| JP6429483B2 (en) | Information processing apparatus, imaging apparatus, information processing system, information processing method, and program | |
| JP4390487B2 (en) | Head region extraction device | |
| EP2966613A1 (en) | Method and apparatus for generating a super-resolved image from an input image | |
| Ha et al. | Embedded panoramic mosaic system using auto-shot interface | |
| JP4550768B2 (en) | Image detection method and image detection apparatus | |
| US20070242876A1 (en) | Image Processing Apparatus, Image Processing Method, and Program | |
| CN111182207A (en) | Image shooting method and device, storage medium and electronic equipment | |
| CN106402717B (en) | A kind of AR control method for playing back and intelligent desk lamp | |
| JP5708305B2 (en) | Image recognition apparatus, image recognition method, and computer program for image recognition | |
| JP2005250778A (en) | Vertical direction decision of image | |
| JP6118295B2 (en) | Marker embedding device, marker detection device, method, and program | |
| JP6278757B2 (en) | Feature value generation device, feature value generation method, and program | |
| JP4683238B2 (en) | Object recognition device, object recognition method, and object recognition program | |
| KR101900797B1 (en) | Method for providing augmented reality using rubik's cube |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100511 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100524 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4525519 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140611 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |