JP2007058634A - Image processing method and image processor, digital camera equipment, and recording medium with image processing program stored thereon - Google Patents

Image processing method and image processor, digital camera equipment, and recording medium with image processing program stored thereon Download PDF

Info

Publication number
JP2007058634A
JP2007058634A JP2005243958A JP2005243958A JP2007058634A JP 2007058634 A JP2007058634 A JP 2007058634A JP 2005243958 A JP2005243958 A JP 2005243958A JP 2005243958 A JP2005243958 A JP 2005243958A JP 2007058634 A JP2007058634 A JP 2007058634A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
quadrilateral
line segment
image processing
line
step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005243958A
Other languages
Japanese (ja)
Other versions
JP4712487B2 (en )
Inventor
Shin Aoki
Takeshi Maruyama
剛 丸山
伸 青木
Original Assignee
Ricoh Co Ltd
株式会社リコー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To precisely and quickly recognize a quadrangle for performing camera movement correction of a photographed image. <P>SOLUTION: This image processing method is provided with a means 210 for detecting an edge area from an input image (photographed image); a means 220 for extracting segments corresponding to the detected edge area; a means 240 for selecting the combinations of segment pairs from the extracted plurality of segments, classifying respective segment pairs, according to the relative position of two segments composing the segment pair, and calculating the evaluation value of the segment pair; a means 250 for selecting two combinations of segment pairs from the plurality of segment pairs, generating a quadrangle from four segments of the respective two segment pairs, and calculating a quadrangle evaluation values, based on the classification and evaluation values of the segment pairs comprising the quadrangle; a means 260 for selecting a quadrangle, based on the calculated quadrangle evaluation values; and a means 270 for the input image by calculating a projection transformation matrix from the selected quadrangle. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、撮影された画像に対するあおり補正の前処理技術に係り、特に入力画像から四辺形を認識する画像処理方法及び装置、その機能を備えたデジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体に関する。 The present invention relates to a pretreatment technique tilt correction for captured images, in particular recognizing the image processing method and apparatus quadrilateral from the input image, a digital camera apparatus including the function, and recording which records an image processing program about the media.

近年、デジタルカメラは広く普及し、風景や人物に限らず、時刻表やポスター、掲示板等をメモ代りに撮影するのにも用いられるようになってきた。 In recent years, digital cameras are widely used, not only to the landscape and people, timetables and posters, has come to be used also for taking pictures of bulletin board note instead. しかしながら、撮影された時刻表やポスター等は、撮影する位置により“あおり”が生じて、画像が歪むため、撮影されたポスター等は読みづらく、撮影された画像をそのまま再利用するには最適なものでなかった。 However, timetables and posters taken is "oblique distortion" is caused by the position to be photographed, the image is distorted, posters taken is difficult to read, to directly reuse the captured image is best It was not the one.

あおりは、実際の被写体は矩形であるのに対し、撮影される画像が、撮影する位置により台形等に歪む現象である。 Tilt the actual object whereas a rectangular, an image to be captured is a phenomenon distorted into a trapezoid or the like by the position to be photographed. 時刻表やポスター等の平面状の被写体をデジタルカメラで撮影する場合、このようなあおりを補正し、あたかも被写体に正対した位置から撮影した画像に変換する必要がある。 When shooting a planar object timetables and posters with a digital camera, to correct such tilt, it is necessary to though convert images taken from directly facing positions on the subject.

従来からデジタルカメラで撮影された画像から撮影時のあおりを補正する方法が種々提案されているが、代表的なものとしては次の方法がある(例えば、特許文献1、特許文献2参照)。 A method of correcting a tilt at the time of shooting from conventionally taken with a digital camera image have been proposed, there are the following methods as a typical (for example, see Patent Document 1, Patent Document 2). まず、撮影された画像から縮小画像を生成し、該縮小画像からエッジ領域を抽出して、該エッジ領域に対し歪曲補正を行う。 First generates a reduced image from the captured image, and extracts an edge area from the reduced image, perform the distortion correction to the edge region. 次に、この歪曲補正後のエッジ領域にハフ変換やラドン変換を行って直線を検出し、直線の組み合わせから、被写体の四辺形を認識する。 Next, to detect a straight line by performing a Hough transform and the Radon transform in the edge region after the distortion correction, a combination of a straight line, recognizes the quadrilateral of the subject. この四辺形をもとに射影変換行列を算出し、撮影画像を射影変換することにより、あおり補正を行う。 The quadrilateral calculates a projective transformation matrix based on, by projective transformation of the captured image, performing perspective correction.

特開2005−122320号公報 JP 2005-122320 JP 特開2005−122328号公報 JP 2005-122328 JP

上記従来技術では、画像中心からの距離が遠い直線を優先的に四辺形の一辺として認識している。 The above prior art, the distance from the image center is aware of the far straight as one side of preferentially quadrilateral. そのため、画像の中心部に被写体が位置しない場合(認識する4辺が画像中心位置から4方向に位置しない場合)、被写体を認識することができない。 Therefore, (if recognized four sides is not positioned in four directions from the image center position) when the object in the center of the image is not located, it is impossible to recognize the object. また、ハフ変換などにより直線検出を行っているため、処理時間が膨大になる。 Also, because a straight line detected by the Hough transform, the processing time becomes enormous. 特にハフ変換の投票は非常に時間がかかる処理方法である。 In particular, the vote of the Hough transform is a processing method is very time consuming. 特許文献2では、X軸方向の候補となる直線の傾きを45°≦θ≦135°、Y軸の候補となる直線の傾きを135°≦θ≦225°と限定することで高速化を図っているが、高速化には限界がある。 In Patent Document 2, the slope 45 ° ≦ θ ≦ 135 ° and a straight line as the X-axis direction candidates, sped by limiting the slope of the line that are candidates for the Y axis and 135 ° ≦ θ ≦ 225 ° and it has, but speed is limited. また、検出されたN本の直線の傾きを基に四辺形の縦方向の辺、横方向の辺などと限定してしまうと、認識できる撮影条件が限られてしまう。 Further, the vertical sides of the quadrilateral based on the detected tilt of the N number of straight and thus limiting such a transverse sides, recognizable photographing conditions is limited. 例えば、図17の(a)は四辺形は認識できるが、(b)の四辺形は、(a)についてカメラをスキューされて撮影させただけであるにもかかわらず、認識できなくなってしまう。 For example, although (a) is quadrilateral in FIG. 17 can be recognized, quadrilateral (b) is no longer able alone is nevertheless recognized was taken skewed camera for (a).

本発明は、あおり補正の前処理として、入力画像から一つあるいはそれ以上の四辺形を認識する技術として、上記従来技術より高精度かつ処理時間の短縮が可能な画像処理方法及び装置、その機能を備えたデジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体を提供することにある。 The present invention, as a pretreatment for perspective correction, as technology for recognizing one or more of the quadrilateral from the input image, the conventional reduction of high accuracy and processing time than techniques available image processing method and apparatus, the function digital camera apparatus having a, and to provide a recording medium which stores the image processing program.

本発明では、処理時間が膨大になるハフ変換などを使用しないで直線を検出するために、入力画像の画素ごとにエッジ方向というものを定義し、エッジ方向ごとにエッジ領域を検出し、エッジ領域ごとに対応する線分(直線)を検出する。 In the present invention, for processing time to detect the linear without using a Hough transform becomes huge, defines something called edge direction for each pixel of the input image, detects the edge area for each edge direction, the edge region detecting a line segment (straight line) corresponding to each. これにより、エッジ検出処理を高速化できる。 Accordingly, the edge detection processing can be speeded.

上記したように、検出されたN本の線分(直線)の傾きを基に四辺形の縦方向の辺、横方向の辺などと限定すると、認識できる撮影条件が限られる。 As described above, the vertical sides slope based on the quadrilateral of the detected N number of segments (straight line), as limiting such a transverse sides, recognizable imaging conditions is limited. そこで、本発明では、検出されたN本の線分から4本を組み合わせてできる全ての四辺形を考慮することで、撮影条件に対する制限を緩和する。 Therefore, in the present invention, by considering all quadrilateral formed by combining four line segments of the detected N present, alleviating restrictions on shooting conditions. しかし、検出されたN本の線分から4本を組み合わせてできる全ての四辺形を考慮することは非常に処理時間がかかる。 However, taking into account all the quadrilateral formed by combining four line segments of the detected N This takes very processing time. そのため、N本の線分から2本を組み合わせて線分ペアなるものを作り、各線分ペアに対して、例えば、対辺、隣接辺、無関係の3つに分類し、評価値を与えて、対辺と隣接辺関係の線分ペアに着目して四辺形を認識し、評価値に基づいて四辺形を選択する。 Therefore, make those segments comprising pairs by combining two line segments of the N, with respect to each segment pair, for example, opposite sides, adjacent-edge are classified into independent three, giving an evaluation value, and the opposite side It recognizes quadrilateral by focusing on line pairs adjacent side relationship, selecting a quadrilateral based on the evaluation value. これにより、以下のように処理時間を大きく短縮できる。 This allows a greater shortening the processing time as follows.

いま、N本の線分から、4本の線分を抜き出すことにより得られる四辺形は最大 K=3×N×(N−1)×(N−2)×(N−3)/24通りある(4本の線分の隣接する順序も考慮する)。 Now, from the line segment of the N, four quadrilateral obtained by extracting a line segment up to K = 3 × N × (N-1) × (N-2) × (N-3) / some ways 24 (4 also contemplates neighboring order of line segment). よって処理時間を高速化するには、Kの数を減らすことが重要である。 Depending on the speed of the processing time, it is important to reduce the number of K.

通常、人間が長方形状の看板を撮影する場合、正対した位置に近い状態から画像範囲にちょうど収まる程度の大きさで撮影する。 Normally, humans when photographing a rectangular signboard is taken with a size that just fits the state close to directly facing positions in the image area. そのとき、撮影した画像上での長方形状の看板の形は、以下の2つの特徴を持つ。 Then, the shape of the rectangular signboard on the photographed image has the following two features.
1. 1. 長方形の対辺が平行に近く、一定以上の距離離れた位置にある 2. Rectangular opposite sides close to parallel, 2 at the predetermined distance or more away. 長方形の隣接辺同士のなす角は90度に近く、無論、隣接辺同士は交点を持つ Angle between adjacent sides to each other of the rectangle is close to 90 degrees, of course, the adjacent sides to each other has an intersection

そのため、N本の線分から2本の線分を抜き出し、2本の線分(直線)のなす角が平行に近いものは対辺、90度に近いものは隣接辺、それ以外は無関係と分類する。 Therefore, extracting the two line segments from the line segment of the N, two line segments (straight line) as the angle is nearly parallel of opposite sides, adjacent-edge is closer to 90 degrees, classified otherwise unrelated . また、N本の線分から2本の線分を無限に延長して線分の交点を算出し、交点と2本の線分との距離を算出することで、2本のエッジの隣接辺らしさ(=評価値)を算出する。 Moreover, to calculate the intersection point of the line segment to extend indefinitely the two line segments from the line segment of the N, by calculating the distance between the intersection and two line segments, two adjacent sides ness of the edge (= evaluation value) is calculated.

四辺形の4本の線分は、2つの対辺の組と4つの隣接辺の組から必ずできるので、K通りの四辺形のうち、2つの対辺の組と4つの隣接辺、の組から生成されていない四辺形は無視することができる。 The four line segments of the quadrilateral, since it always two opposite sides of the set and four adjacent sides set, among the quadrilateral K Street, generated from the two opposite sides pairs and four adjacent-edge, set is is not not quadrilateral can be ignored. また、四辺形の4つの頂点は線分同士が交わったところなので、4つの評価値の大小により四辺形を評価することができる。 Further, since the four vertices of the quadrilateral such where the line segments to each other intersect, it is possible to evaluate the quadrilateral according to the magnitude of the four evaluation values.

また、本発明では、ノイズなどの影響で線分が途切れてしまった場合、入力画像が歪曲ゆがみを持つ場合、被写体の背景が複雑な色をしている場合などでも四辺形を抽出できるようにするため、必要に応じて複数の線分を合成することにより、新しい線分を生成する。 Further, in the present invention, if had interrupted line by the influence such as noise, when the input image has a distortion distortion, as the background of the object is able to extract the quadrilateral in a case that complicated color to, by combining a plurality of line segments as required, to produce a new line segment.

また、黒地に白い長方形の描かれた画像に対して、通常のSobelフィルタでエッジ検出を行うと、長方形の外周上の画素全てが一つのエッジ領域として抽出されてしまう。 Moreover, against a white rectangle of image drawn on black, when the edge detection in a conventional Sobel filter, all the pixels on the perimeter of the rectangle will be extracted as one edge area. 本発明では、ハフ変換を使用しないで、エッジ方向で分けてエッジ領域を求めることにより、長方形の各辺を異なるエッジ領域として抽出することができる。 In the present invention, without using the Hough transform, by determining the edge region is divided in the edge direction, it is possible to extract the respective sides of the rectangle as different edge areas.

また、本発明では、撮影者が通常撮影する場合、被写体を画像範囲内に大きく撮影することが一般的なので、その特性を利用するため、さらには、撮影者があおり補正モードで画像を撮影する際の構図を決定しやすくするため、四辺形の面積に基づいて評価値を算出し、該評価値を考慮して四辺形を選択できるようにする。 Further, in the present invention, when the photographer to normal shooting, so it is common to increase photographing an object in an image range, for utilizing the properties, further, captures an image in the correction mode photographer tilt to facilitate determining the composition of the time, and calculates an evaluation value based on the area of ​​the quadrilateral, to select a quadrilateral in consideration of the evaluation value.

また、本発明では、使用者が撮影対象に選択する平面上の被写体の大半は長方形であるから、長方形のみの認識のみ行うことに限定することで、使用者が長方形を被写体として撮影したときの認識精度を大幅に向上させるため、四辺形を平行四辺形に変換する射影変換行列を算出し、射影変換後の平行四辺形の形状に基づいて評価値を算出し、評価値を考慮して四辺形を選択できるようにする。 In the present invention, since the majority of the subject on a plane user selects the imaging object is a rectangle, by limiting to be carried out only recognized rectangle only when the user has captured a rectangular as an object to significantly improve the recognition accuracy, it calculates a projective transformation matrix for transforming the quadrangle into a parallelogram, based on the shape of a parallelogram after the projection transformation calculates an evaluation value, the four sides in consideration of the evaluation value to be able to select the form.

本発明によれば、高精度かつ高速に、撮影画像から四辺形を認識し、該認識した四辺形を正対した位置から撮影した場合と同等な画像に変換することができる。 According to the present invention, high precision and high speed, recognizes quadrilateral from the photographed image can be converted to an equivalent image and when taken from directly facing positions quadrilateral the recognized.

以下、本発明の一実施の形態について図面を参照して説明する。 It will be described below with reference to the accompanying drawings, an embodiment of the present invention.
図1は本発明の画像処理機能を備えたデジタルカメラ装置の一実施形態を示す全体的構成図である。 Figure 1 is an overall configuration diagram showing an embodiment of a digital camera apparatus having an image processing function of the present invention. 図1において、撮影部11はレンズ111、絞り112、シャッター113、光電変換素子114及び前処理部115などで構成される。 In Figure 1, the photographing unit 11 is constituted by such as a lens 111, a diaphragm 112, a shutter 113, the photoelectric conversion element 114 and the preprocessing unit 115. シャッター113の操作により、被写体光がレンズ111、絞り112を通して光電変換素子114に受光し、アナログ画像信号に変換される。 The operation of the shutter 113, object light lens 111, and received by the photoelectric conversion element 114 through the aperture 112, is converted into an analog image signal. 光電変換素子114には、例えば、CCD(電荷結合素子)が使用される。 The photoelectric conversion element 114, for example, CCD (charge coupled device) is used. 前処理部115は、プリアンプやAGC(自動利得制御)等のアナログ信号処理部やA/D変換部を備えており、光電変換素子114から出力されたアナログ画像信号に対して増巾・クランプなどの前処理を施した後、該アナログ画像信号をデジタル画像信号に変換する。 Preprocessing unit 115 is provided with an analog signal processing unit and the A / D converter such as the preamplifier and AGC (automatic gain control), increasing width clamp the analog image signal output from the photoelectric conversion element 114 such as It was subjected to a pretreatment, for converting the analog image signals into digital image signals.

撮影部11の前処理部115から出力されたデジタル画像信号は、カメラ信号処理部12を通してフレームメモリ15に格納される。 Digital image signal output from the preprocessing unit 115 of the imaging unit 11 is stored in the frame memory 15 through the camera signal processing unit 12. フレームメモリ15には、VRAM,SRAM,DRAMなどの半導体メモリが使用され、カメラ信号処理部12での処理対象の画像信号を一時保持するのに利用される。 The frame memory 15, VRAM, SRAM, a semiconductor memory such as a DRAM is used, the use of the image signal to be processed in the camera signal processing unit 12 to temporarily hold.

カメラ信号処理部12はデジタル信号処理プロセッサ(DSP)などにより構成されている。 Camera signal processing unit 12 is constituted by a digital signal processor (DSP). このカメラ信号処理部12に、本発明の画像処理機能としてのあおり補正部120が備えられているが、その詳細は後述する。 This camera signal processing unit 12, but the tilt correcting section 120 as an image processing function of the present invention is provided, which will be described later in detail. ROM13はカメラ信号処理部12で使用されるプログラムを保持するプログラムメモリ、RAM14はカメラ信号処理部12の処理途中のデータや、その他の必要なデータなどを一時的に保持するのに用いられる作業用メモリである。 ROM13 program memory for holding program used by the camera signal processing unit 12, a work RAM14 processing and data during the camera signal processing unit 12, used to hold such a temporary other necessary data it is a memory.

CPU16はマイコンなどにより構成され、撮像部11及びカメラ信号処理部12などの動作を制御する。 CPU16 is constituted by a microcomputer, controls the operation of an imaging unit 11 and the camera signal processing unit 12. なお、ROM13、RAM14は、CPU16で兼用することでもよい。 Incidentally, ROM 13, RAM 14 may also be used also in CPU 16.

フレームメモリ15の画像信号はカメラ信号処理部12に読み出され、該カメラ信号処理部12において画像圧縮などの処理が施された後、インターフェース部(I/F)17を介して外部記憶装置19に記録されることにより保存される。 Image signal of the frame memory 15 is read out to a camera signal processing unit 12, the after processing such as image compression is performed in the camera signal processing unit 12, an external storage device via the interface unit (I / F) 17 19 It is stored by being recorded. 外部記憶装置19には、ICメモリカードや光磁気ディスクなどが使用されるが、モデムカードやISDNカードなどを利用して、ネットワークを経由して遠隔地の端末等に画像信号を送信することも可能である。 The external storage device 19 is an IC memory card or a magneto-optical disk is used, by using such as a modem card or an ISDN card, also send an image signal to the remote terminal or the like via a network possible it is. 逆に、外部記憶装置19から読み出された画像信号は、I/F17を介してカメラ信号処理部12に送信され、カメラ信号処理部12において伸長処理が施され、フレームメモリ15に格納される。 Conversely, the image signal read from the external storage device 19 is sent to the camera signal processing unit 12 via the I / F17, decompression processing in the camera signal processing section 12 is subjected, it is stored in the frame memory 15 .

画像信号の表示は、フレームメモリ15の画像信号をカメラ信号処理部12、I/F17を介して表示部18に送信することによって行われる。 Display of the image signal is performed by transmitting the image signal of the frame memory 15 on the display unit 18 via the camera signal processing unit 12, I / F17. 表示部18は、例えば、本デジタルカメラ装置の筐体に設置された液晶表示装置により構成される。 The display unit 18, for example, a liquid crystal display device installed in the housing of the digital camera device.

ここで、カメラ信号処理部12内のあおり補正部120は、例えば、フレームメモリ15に格納された撮影画像デジタル画像信号を入力として、入力画像からあおり補正をする対象となる四辺形(長方形)の被写体を抽出し、あおり歪みの補正を行う。 Here, tilt correction section 120 of the camera signal processing unit 12 is, for example, as an input the captured image a digital image signal stored in the frame memory 15, from the input image quadrilateral for which the tilt correction (rectangular) to extract the subject, the correction of the tilt distortion. あおり補正されたデジタル画像信号は、例えば、フレームメモリ15に再び格納して、以後の処理に利用される。 Tilt corrected digital image signal, for example, and stores again in the frame memory 15, it is used for further processing. 図2は、あおり補正の具体的処理イメージを示したものである。 Figure 2 shows a specific processing images of perspective correction. あおり補正部120は、ROM13にあおり補正のための画像処理プログラムを格納して、それをカメラ信号処理部12のデジタル信号処理プロセッサ(DSP)に実行させるか、あるいは処理機能の一部または全部をハードウェアとして構成することでもよい。 Tilt correction unit 120 stores the image processing program for perspective correction in ROM 13, or to run a digital signal processor of the camera signal processing unit 12 (DSP), or the processing function of part or all it may also be configured as hardware. 以下に、あおり補正部120の詳細構成および処理について説明する。 Hereinafter, a detailed configuration and process of the tilt correcting section 120.

図3は、あおり補正部120の一実施例を示す詳細構成図である。 Figure 3 is a detailed block diagram showing an embodiment of a tilt correction unit 120. 本あおり補正部120はエッジ領域検出部210、線分抽出部220、線分生成部230、線分ペア分類・評価部240、四辺形評価部250、四辺形選択部260、及び、射影変換部270から構成される。 This tilt correcting section 120 edge area detecting unit 210, the line segment extraction unit 220, the line segment generator 230, the line segment pair classification and evaluation unit 240, quadrilateral evaluator 250, quadrilateral selecting section 260, and projection transformation unit consisting of 270. ここで、210〜260の各部をまとめて四辺形抽出部200と総称することにする。 Here, it will be collectively referred to as quadrangle extracting unit 200 collectively each unit of 210 to 260. この四辺形抽出部200が本発明の主要部を形成している。 The quadrangle extracting unit 200 forms the main part of the present invention. 以下、各部での処理を詳述する。 Hereinafter, it details the process in each unit.

<エッジ領域抽出> <Edge region extraction>
エッジ領域検出部210では、撮影画像である入力画像からエッジ領域を検出する。 In the edge region detection unit 210 detects an edge region from the input image is a captured image. 具体的には、輝度変化の大きい部分を抽出してエッジ領域とする。 Specifically, the edge region by extracting a large portion of the luminance change. 図4にエッジ領域検出の処理フローチャートを示す。 Figure 4 shows a flowchart of the edge region detection.

まず、入力画像に対してSobelフィルタやCannyフィルタなどのエッジ検出フィルタによりフィルタリングを施し、各画素に対して、X方向の輝度変化量(gh)、Y方向の輝度変化量(gv)を計算する(ステップ1001)。 First, subjected to filtering by the edge detection filter such as a Sobel filter or a Canny filter to an input image, for each pixel, calculating the brightness variation of the X-direction (gh), luminance variation in the Y direction (gv) (step 1001). そして、X変化量gh、Y変化量gvを入力とする関数funcl(gh,gv)の戻り値が閾値以上の画素をエッジ部(エッジ画素)とし、funcl(gh,gv)の戻り値が閾値以下の画素はエッジ部とみなさず、非エッジ画素とする(ステップ1002)。 Then, X variation gh, function funcl (gh, gv) which receives the Y variation gv edge return value or more pixels threshold and (edge ​​pixels), funcl (gh, gv) of the return value is the threshold the following pixels are not considered edge portion, the non-edge pixel (step 1002). 次に、X変化量ghとY変化量gvによる2次元空間を複数のグループに分割し、各エッジ画素を、その方向に応じてグループ分けする(ステップ1003)。 Then, by dividing the two-dimensional space by the X variation gh and the Y variation gv in a plurality of groups, each edge pixel, grouped according to their direction (step 1003). 実施例では、後述するように、ghとgvによる2次元空間を8つに分割し、各エッジ画素をグループ1からグループ8までの8つのグループに区別する。 In the embodiment, as described below, by dividing the two-dimensional space by gh and gv into eight distinguishes the eight groups of each edge pixel from Group 1 to Group 8. 最後に、各グループごとにラベル等で識別してエッジ画像を作成し(ステップ1004)、エッジ領域分割を行う(ステップ1005)。 Finally, identified by a label or the like for each group to create an edge image (step 1004), the edge region division (step 1005).

以下に、エッジ検出処理について、より具体的に説明する。 Hereinafter, the edge detection processing will be described more specifically. ここでは、入力画像の輝度画像は図5(c)の如くとし、エッジ検出フィルタには図5(a),(b)に示すSobelフィルタを使用するとする。 Here, city brightness image of the input image as shown in FIG. 5 (c), FIG. 5 is an edge detection filter (a), and using the Sobel filter shown in (b). 図5(c)において、(x00,y00)は画素座標、v00は画素値を表している。 In FIG. 5 (c), (x00, y00) is a pixel coordinate, v00 represents the pixel value. 他の画素についても同様である。 The same applies to the other pixels.

いま、対象画素は、画素(x11,y11)とする。 Now, the target pixel, a pixel (x11, y11). 画素(x11,y11)のX方向の輝度変化量ghは、図5(a)に示すX方向のSobelフィルタを図5(c)の輝度画像に施すことで、次のように求まる。 Brightness variation in the X direction of the pixel (x11, y11) gh, by subjecting the luminance image shown in FIG. 5 (c) the Sobel filter in the X direction shown in FIG. 5 (a), calculated as follows.
gh=v00×(−1)+v10×(−2)+v20×(−1)+v02×1+v12×2+v22×1 gh = v00 × (-1) + v10 × (-2) + v20 × (-1) + v02 × 1 + v12 × 2 + v22 × 1
また、画素(x11,y11)のY方向の輝度変化量gvは、図5(b)に示すY方向のSobelフィルタを図5(c)の輝度画像に施すことで、次のように求まる。 The luminance variation gv in the Y direction of the pixel (x11, y11), by subjecting the luminance image shown in FIG. 5 (c) in the Y direction Sobel filter shown in FIG. 5 (b), calculated as follows.
gv=v00×(−1)+v01×(−2)+v02×(−1)+v20×1+v21×2+v22×1 gv = v00 × (-1) + v01 × (-2) + v02 × (-1) + v20 × 1 + v21 × 2 + v22 × 1
画素(x11,y11)の輝度変化量gを、g=gh +gv として求め、gが所定の閾値(例えば、50とする)以上の場合、該画素(x11,y11)をエッジ画素とし、閾値以下の場合は非エッジ画素とする。 The luminance variation g of the pixel (x11, y11), calculated as g = gh 2 + gv 2, g is the predetermined threshold value (e.g., 50 to) case described above, the pixel (x11, y11) and an edge pixel, If less than the threshold value and non-edge pixels.

各画素について上記処理を繰り返すことで、入力画像のエッジ部分が抽出される。 For each pixel by repeating the above processing, the edge portion of the input image is extracted. 入力画像のエッジ部分が抽出されたなら、図6に示すように、X方向の輝度変化量ghとY方向の輝度変化量gvによる2次元空間を8つに分割し、その方向に応じて、各エッジ画素をグループ1からグループ8のいずれかにグループ分けする。 If the edge portion of the input image is extracted, as shown in FIG. 6, by dividing the two-dimensional space with the luminance variation gv in luminance variation gh and the Y direction in the X direction to eight, depending on the direction, grouped into one of groups 8 each edge pixel from group 1. このようにエッジ画素をエッジ方向で区別することで、被写体の周囲に存在するであろう4本のエッジを区別して扱うことができる(長方形の各辺を異なるエッジ領域として抽出することができる)。 By thus distinguishing edge pixel in the edge direction, it can be treated to distinguish four edges that may be present around the subject (each side of the rectangle can be extracted as different edge areas) . また、ハフ変換などを使用しないでエッジ検出するため、処理を高速化できる。 Further, without using the Hough transform for edge detection, it can speed up the process.

エッジ画像は、エッジ画素には0(黒)、非エッジ画素には255(白)を割り当てることにより作成される。 Edge image, the edge pixel 0 (black), the non-edge pixel is generated by assigning 255 (white). ここでは、エッジ画像は1〜8の各方向グループごとに作成するとする。 Here, the edge image is created for each direction group of 1-8. すなわち、8枚のエッジ画素を作成する。 That creates eight edge pixels. 8枚のエッジ画像が、どの方向グループに属するかはラベル等で識別できるようにする。 Eight edge images, belongs to which direction group to be identified by a label or the like. そして、各エッジ画像について、黒連結領域ごとに領域分割し、分割されたそれぞれの領域をエッジ領域とする。 Then, for each edge image, and the region divided into black connecting region, the respective divided regions and edge regions. ここで、エッジ領域のうち、所定閾値より少ないエッジ画素数から構成されているエッジ領域(黒連結領域)はノイズとして除去する。 Here, in the edge region, the edge region (black connection area) and a small number of edges pixels than a predetermined threshold is removed as noise.

なお、エッジ画像は1枚のみとし、各エッジ画素について、例えば、各方向グループごとに異なる色などを割り振って区別することも可能である。 Incidentally, the edge image is only one sheet, for each edge pixel, for example, it is also possible to distinguish Allocate like different color for each direction group.

<線分抽出> <Segment extraction>
線分抽出部220では、エッジ領域検出部210で検出された各エッジ領域の画素情報に対して主成分分析を行うことにより各エッジ領域に対応する線分を抽出する。 The line segment extraction section 220 extracts a line segment corresponding to the edge region by performing principal component analysis on pixel information of each edge area detected by the edge area detecting unit 210. この線分抽出を各方向グループについて行う。 Performed for each direction group this segment extraction. 図7に線分抽出の全体的処理フローチャートを示す。 It shows the overall processing flow of the line segment extracted in FIG. また、図8に具体例を示す。 Further, a specific example in FIG.

まず、各エッジ領域の画素情報に対して主成分分析を行い(ステップ1101)、線分(直線)を抽出する(ステップ1102)。 First, the principal component analysis on pixel information of each edge area (step 1101), and extracts a line segment (straight line) (step 1102). いま、図8(a)のようなエッジ領域が存在したとする。 Now, the edge region as shown in FIG. 8 (a) was present. このエッジ領域の画素情報を用いて主成分分析を行うことで、図8(b)に描かれているような線分(直線)が抽出される。 The pixel information of the edge region by performing principal component analysis using a segment as depicted in FIG. 8 (b) (a straight line) is extracted. ここで、主成分分析を行った際に、同時に第一主成分の寄与率を求めておき、エッジの線らしさとして直線と併せて保存しておく。 Here, when performing a principal component analysis, at the same time to previously obtain the contribution rate of the first principal component, keep in conjunction with linear as a line likelihood of an edge. 続いて図8(c)に示すように、エッジ領域を囲う最小の矩形を定めて、該矩形と線分の交点を求め、エッジ領域に対応する線分の2端点(の座標)を決定する(ステップ1103)。 Subsequently, as shown in FIG. 8 (c), defines the smallest rectangle surrounding the edge area, find the intersection the rectangular and the line segment, determining a 2 end points (coordinates) of the line segment corresponding to the edge area (step 1103).

以上の処理を8枚のエッジ画像から検出された各エッジ領域について実施することで、入力画像中の各エッジ領域に対応する線分の抽出がひとまず完了する。 Have been performed on each edge area detected above processing from eight edge images, extraction of the line segment corresponding to each edge region of the input image is the time being completed.

続いて、ノイズの影響などで、本来一本の直線であるものが途切れて検出されてしまう場合を補うために、8枚のエッジ画像ごとに、各エッジ領域の主成分方向(2方向)に探索を行って隣接するエッジ領域を見つけ、必要なら隣接エッジ領域を統合し、あらためて線分の抽出をやり直す(ステップ1104)。 Subsequently, in influence of noise, in order to compensate for the case where what is a straight line of the original single would be detected interrupted every eight edge images, principal component directions (two directions) of each edge region locate the adjacent edge regions by performing a search, integrated if necessary adjacent edge area, re-extraction of the newly segment (step 1104). 図9に隣接エッジ領域の統合処理のフローチャートを示す。 Figure 9 shows a flowchart of the integration processing in the adjacent edge regions. また、図10に具体的処理例を示す。 Further, a specific processing example in FIG. 10. 図10は、1枚のエッジ画像中の一部分で、エッジ領域301、302、303の3つのエッジ領域が存在することを表している。 Figure 10 is a portion in one edge image, indicating that the three edge regions of the edge regions 301, 302, 303 are present.

まず、着目するエッジ領域の主成分方向(2方向)に規定する画素数だけ探索を行い(ステップ1110)、隣接エッジ領域が存在するか否か判定する(ステップ1111)。 First, only the number of pixels specified in the main component direction of the interested edge region (2 direction) performs a search (step 1110) and determines whether adjacent edge areas exist (step 1111). 図10の場合、矢印311、312に示すように、例えばエッジ領域301の左右の2つの端点から規定の画素数だけ探索する。 For Figure 10, as indicated by arrows 311 and 312, for example, searches the two end points of the left and right edge regions 301 by the number of pixels specified. 図10で矢印の長さが、探索する規定の画素数を示している。 The length of the arrows in FIG. 10 indicates the number of pixels specified to be searched. 該規定の画素数は、一定値にしてもよいし、エッジ領域に対応する線分の長さをもとに設定してもよい。 The number of pixels the provisions may be set constant value may be set based on the length of a line corresponding to the edge region.

図10の例では、エッジ領域301の端点からエッジ領域302は規定の画素数以内しか離れていないので、エッジ領域301とエッジ領域302は隣接エッジ領域と判定されるが、エッジ領域301とエッジ領域303は規定の画素数以上離れているので、隣接エッジ領域とは判定されない。 In the example of FIG. 10, the edge region 302 from the end point of the edge region 301 is not separated only within the number of pixels defined, but the edge region 301 and edge region 302 is determined to be adjacent edge region, the edge region 301 and edge region since 303 is separated by more than the number of pixels defined not determined to be a neighboring edge region.

次に、隣接エッジ領域が存在する場合、隣接エッジ領域同士の画素情報を合成した合成画素情報を作成し(ステップ1112)、合成画素情報に対して主成分分析を行う(ステップ1113)。 Then, if the adjacent edge region is present, creating a combined pixel information obtained by combining the pixel information between the adjacent edge region (step 1112), it performs the principal component analysis on the combined pixel information (step 1113). そして、このとき算出されたエッジの線らしさが閾値以上であるか判定し(ステップ1114)、閾値以上である場合(主成分の割合が多い)、隣接エッジ領域を統合したエッジ領域を作成して、元のエッジ領域を除去する(ステップ1115)。 Then, judgment (Step 1114) or line ness of the edge calculated this time is equal to or larger than the threshold, if it is more than the threshold value (often the percentage of the active ingredient), creates an edge region that integrates adjacent edge region , to remove the original edge areas (step 1115). そして、作成した領域に関して、再びステップ1110からの処理を行う。 Then, with regard to the creation area, the processing from step 1110 again. これを全てのエッジ領域に対して繰返し、その後、あらためて図7の処理を実施する。 Repeat this for all of the edge region, then carrying out the process of again FIG.

図10の場合、隣接エッジ領域と判定されたエッジ領域301とエッジ領域302の画素情報の合成画素情報を作成し、該合成画素情報に対して主成分分析を行う。 For Figure 10, to create a composite pixel information of the pixel information of the adjacent edge region and the determined edge region 301 and edge region 302, performs principal component analysis on the combined pixel information. そして、エッジの線らしさが閾値以上なら、エッジ領域301とエッジ領域302を統合して新たなエッジ領域を作成し、エッジ領域301とエッジ領域302は除去する。 Then, the line ness edge if more than a threshold value, by integrating an edge region 301 and edge region 302 to create a new edge area, the edge area 301 and the edge region 302 is removed. そして、新たなエッジ領域に着目して再びステップ1110からの処理を行う。 Then, the processing from step 1110 again focused on new edge area.

以上のような処理を8枚のエッジ画像について、全てのエッジ領域に対して繰り返す。 The aforementioned processing for eight edge images is repeated for all edge areas. そして、最終的に残った各エッジ領域に対して図7の処理を行うことで、線分の抽出が完了する。 By performing the processing in FIG. 7 with respect to each edge region remaining in the final line segment extraction is completed.

ここまでの処理では、分かり易いように、8枚のエッジ画像から抽出されたエッジ領域を別々に処理するとしたが、以下の処理では、8枚のエッジ画像から抽出されたエッジ領域を区別せずに扱う。 In the process up to this point, so for clarity, but a separately processing eight edge region extracted from the edge image, the following processing, without distinguishing the edge region extracted from eight edge images handled. ここで、エッジ領域の総計はN1であり、したがって、線分抽出部220で抽出された線分の総計はN1本となる。 Here, the total edge region is N1, therefore, the total line segment extracted by the line segment extraction unit 220 becomes N1 present. 各線分には通し番号がふられているとする。 The serial number has been dumped in each line segment.

<線分生成> <Line segment generated>
線分生成部230では、線分抽出部220で抽出されたN1本の線分から、必要に応じて新たな線分を生成する処理を行う。 The segment generator 230, the N1 line segments extracted by the line segment extraction unit 220 performs a process to generate a new line if necessary. エッジ領域抽出部210において、エッジ方向を8方向に分けたことに起因して、同一線分であるにもかかわらず、複数の線分に分割されて認識されてしまう線分が存在する場合がある。 In the edge region extraction unit 210, due to divided the edge direction in eight directions, even though the same segment, may line segment would be recognized is divided into a plurality of line segments are present is there. そのような場合を補う処理を線分生成部230で行う。 Performs processing to compensate for such a case by the line segment generator 230. 線分生成部230は、入力画像が歪曲ゆがみを持つ場合、被写体の背景が複雑な色をしている場合などに対応するための処理である。 Segment generator 230, if the input image has a distortion distortion is a process for dealing with a case where the background of the subject is a complex color. 図11に線分生成部230の処理フローチャートを示す。 It shows a flowchart of the line segment generator 230 in FIG. 11. また、図12に具体例を示す。 Further, a specific example in FIG. 12.

線分抽出部220で抽出されたN1本の線分を入力として(ステップ1200)、番号iと番号jの2本の線分を取り出し(ステップ1201)、N1本の線分から2本の線分を選ぶすべての組合せである、N1×(N1−1)/2個の線分ペアを生成する(ステップ1202)。 The N1 line segments extracted by the line segment extraction section 220 as an input (step 1200), retrieves the two line segments number i and number j (step 1201), two line segments from N1 line segments are all combinations to choose to generate the N1 × (N1-1) / 2 pieces of line pairs (step 1202). ここで、各線分ペアには通し番号をつけておく。 Here, soak the serial number on each line segment pair. そして、カウント値Cntを1に初期設定し、また、N2=N1とした後(ステップ1203)、以下の処理を行う。 Then, it initializes the count value Cnt 1, also after the N2 = N1 (step 1203), the following process is performed. Cntは処理対象線分ペアの番号を表し、N2は既存の線分(N1本)+新たな線分の総計を表す。 Cnt represents the number of the processing target segment pairs, N2 represents the sum of the existing line (N1 pieces) + new segment.

カウント値CntがN1×(N−1)/2を超えたか判定し(ステップ1204)、超えたから処理を終える。 Count value Cnt is determined whether exceeds N1 × (N1) / 2 (step 1204), the processing ends because beyond. 超えない場合、Cnt番目(最初は1番目)の線分ペアを選択し(ステップ1205)、当該線分ペアを構成する2つの線分(線分A、線分Bとする)の成す角度を0〜90°の範囲で算出する(ステップ1206)。 If not exceeded, Cnt th (initially first) select line pairs (step 1205), two line segments constituting the line segment pair (segment A, and segment B) the angle between calculated in the range of 0 to 90 ° (step 1206). そして、該線分ペアA,Bの成す角度が所定の閾値(例えば、5度)以下か判定し(ステップ1207)、閾値以上の場合にはCntを+1して(ステップ1216)、ステップ1204へ戻る。 Then, the line segment pair A, the angle is a predetermined threshold value formed by the B (e.g., 5 degrees) or less or determined (step 1207), and +1 Cnt if less than the threshold value (step 1216), to step 1204 Return. 例えば、線分Aと線分Bの位置関係が、図12(a),(b)のような場合には、線分ペアA,Bの成す角はθで表される。 For example, positional relationship between the line A and the line segment B is, FIG. 12 (a), when such as (b) is the line segment pair A, the angle formed by the B represented by theta. ここで、図12の(a)は、線分ペアA,Bの成す角θが閾値以上の場合を示し、(b)は線分ペアの成す角度θが閾値以下の場合を示しているとする。 Here, (a) in FIG. 12, the line segment pair A, indicates when the angle θ is equal to or higher than the threshold formed by the B, and (b) shows a case where the angle θ formed by the line segment pair is equal to or less than the threshold to.

線分ペアA,Bの成す角度が閾値以下の場合(例えば、図12の(b)の場合)、次に、当該線分ペアの距離を測定する(ステップ1208)。 Segment pair A, when the angle is less than or equal to the threshold formed by the B (for example, in the case of FIG. 12 (b)), then to measure the distance of the line segment pair (step 1208). ここで、線分ペアA,Bの距離は、以下の1から4の距離の内、最小の値と定義する。 Here, the line segment pair A, Distance B is among the of the following distance 4 is defined as the minimum value.
1. 1. 線分Bを無限に延長した直線と、線分Aの始点との距離 2. Distance between the straight line obtained by extending a line segment B indefinitely, with the start point of the line segment A 2. 線分Bを無限に延長した直線と、線分Aの終点との距離 3. Distance between the straight line obtained by extending a line segment B indefinitely, the endpoint of the line segment A 3. 線分Aを無限に延長した直線と、線分Bの始点との距離 4. Distance between the straight line obtained by extending a line segment A indefinitely, with the start point of the line segment B 4. 線分Aを無限に延長した直線と、線分Bの終点との距離 Distance between the straight line obtained by extending a line segment A indefinitely, the endpoint of the line segment B

求まった線分ペアA,Bの距離が所定の閾値以下か判定し(ステップ1209)、閾値以上(距離が離れすぎている)の場合には、Cntを+1して(ステップ1216)、ステップ1204へ戻る。 Motoma' line segments pairs A, Distance B is determined to or less than a predetermined threshold value (step 1209), in the case of more than the threshold (distance is too far) is the Cnt is incremented by one (step 1216), step 1204 to return.

一方、線分ペアの距離が所定の閾値以下の場合には、当該線分ペアの線分Aの始点と終点、線分Bの始点と終点との組み合わせの4通りの距離を計算し、そのうちの最大値(距離1)と最小値(距離2)を求める(ステップ1210)。 On the other hand, if the distance of the line segment pair is less than a predetermined threshold value, start and end points of the line segment A of the line segment pairs, a distance of four different combinations of start and end points of the line segment B is calculated, of which Find the maximum value of (distance 1) and the minimum value (distance 2) (step 1210). そして、次の式(1) Then, the following equation (1)
V<(線分Aの長さ+線分Bの長さ+距離2)/距離1 (1) V <(length of the line segment A + of the line segment B Length + Distance 2) / distance 1 (1)
を満足するか否か判定する(ステップ1211)。 It determines whether to satisfy (step 1211). ここで、Vは所定の閾値である。 Here, V is a predetermined threshold value. 満足しない場合には、Cntを+1して(ステップ1216)、ステップ1204へ戻る。 If not satisfied, the Cnt is incremented by one (step 1216), and returns to step 1204.

上記式(1)を満たす場合、当該線分ペアを構成する線分Aと線分BのX,Y座標の大小関係を比較して、以下の条件 [条件] When satisfying the above formula (1), X line segment A and segment B constituting the line segment pair, by comparing the magnitude of the Y coordinate, the following conditions [Condition]
(線分Aの始点と終点のX座標が、線分Bの始点と終点のX座標よりも大きい。 (X-coordinate of the start point and the end point of the line segment A is greater than the X coordinate of the start and end points of the line segment B.
または、線分Aの始点と終点のX座標が、線分Bの始点と終点のX座標よりも小さい。 Or, X-coordinate of the start point and the end point of the line segment A is smaller than the X coordinate of the start point and end point of the line segment B. )
かつ、 And,
(線分Aの始点と終点のY座標が、線分Bの始点と終点のY座標よりも大きい。 (Y coordinate of the start point and end point of the line segment A is greater than the Y coordinate of the start point and end point of the line segment B.
または、線分Aの始点と終点のY座標が、線分Bの始点と終点のY座標よりも小さい。 Or, Y coordinates of the start and end points of the line segment A is smaller than the Y coordinate of the start point and end point of the line segment B. )
を満足するか否か判定する(ステップ1212)。 It determines whether to satisfy (step 1212). 満足しない場合には、Cntを+1して(ステップ1216)、ステップ1204に戻る。 If not satisfied, the Cnt is incremented by one (step 1216), and returns to step 1204.

上記条件を満たす場合、新しい線分を生成する(ステップ1213)。 If the condition is satisfied, it generates a new line segment (step 1213). 新しい線分は、ステップ1210で算出した、当該線分ペアの線分Aの始点と終点、線分Bの始点と終点との組み合わせの4通りのうち、距離が最大となる2頂点の組を始点、終点に持つ線分Cとする。 The new line segment, calculated in step 1210, the start and end points of the line segment A of the line segment pairs among the four kinds of combinations of start and end points of the line segment B, the distance is a set of two vertices with a maximum start, and the line segment C with the end point. 図12(b)の例の場合、図12(c)のように新しい線分Cが生成される。 For example in FIG. 12 (b), a new line C is generated as shown in FIG. 12 (c). 既存の線分はそのまま残し、この生成された線分に後続の通し番号を付けて追加する(ステップ1214)。 Existing line segments leaving, adding with a subsequent serial number to the generated segment (step 1214). そして、N2を+1し(ステップ1215)、Cntを+1して(ステップ1216)、ステップ1204へ戻る。 Then, the N2 Mr. +1 (step 1215), the Cnt is incremented by one (step 1216), and returns to step 1204.

以上の処理を、N1×(N1−1)/2個のすべての線分ペアについて繰り返すことで、所望の線分が生成され追加される。 The above processing is repeated for the N1 × (N1-1) / 2 pieces of all line segments pairs, the desired segment is generated and added. このようにして、既存のN1本の線分に、この線分生成部230で新たに生成されて追加された線分を加えて、合計N2本の線分が得られる。 In this way, the existing N1 line segments, in addition to line segment newly added is generated by the line segment generator 230, a line segment of the total N2 present is obtained.

なお、ここでは、図11のステップ1207、1209、1211、1213の各条件がすべて満たす場合に、新しい線分を生成するとしたが、必要に応じて、そのうちの一部の条件でも満たす時、新しい線分を生成するようにしてもよい。 Here, if the conditions of steps 1207,1209,1211,1213 in FIG. 11 satisfy all, was to generate a new line, if necessary, when the fill also part of the conditions of the new it may be generated a line segment. また、生成された線分Cと既存の線分で新たに線分ペアを作成し、この線分ペアについて、更に新しい線分を生成すべきか否か判定するようにしてもよい。 Further, creates a new segment pair with the generated line C in an existing line, the line segment pair, it may be determined whether or not to generate a further new line segment.

<線分ペア分類・評価> <Line segment pair classification and evaluation>
線分ペア分類・評価部240では、既存のN1本の線分と、線分生成部230で新たに生成された(N2−N1)本の線分とを加えたN2本の線分から、番号iと番号jの2本の線分を取り出し(これを線分ペアi,jと呼ぶ)、線分ペアの分類と評価値を設定する。 In line pair classification and evaluation unit 240, from the existing N1 present and the line segment of the newly generated by the line segment generator 230 (N2-N1) This line segment and the N2 line segments plus the number removed two line segments i and number j (this segment pair i, referred to as j), it sets the classification and evaluation value of the line segment pair. ここでは、無関係、対辺関係、隣接関係の3種類に分類するとする。 Here, irrelevant, and opposite side relationship are classified into three types of adjacency. 図13に線分ペア分類・評価部240の処理フローチャートを示す。 Figure 13 shows a flowchart of a segment pair classification and evaluation unit 240.

既存の線分に、線分生成部230で生成された線分が加わったN2本の線分を入力として(ステップ1300)、番号iと番号jの2本の線分(線分ペアi,j)を取り出し(ステップ1301)、N2本の線分から2本の線分を選ぶすべての組み合わせである、N2本(N2−1)/2個の線分ペアを生成する(ステップ1302)。 The existing line segment, (step 1300) as input N2 line segments which are segments generated by the line segment generator 230 applied, two line segments number i and number j (the line segment pair i, j) was removed (step 1301), all of the combinations to choose two line segments from N2 line segments, N2 present (N2-1) / generating a two line pairs (step 1302). 各線分ペアには通し番号をつけておく。 Soak the serial number on each line segment pair. そして、カウント値Cntを1に初期設定した後(ステップ1303)、以下の処理を行う。 Then, after initially setting the count value Cnt to 1 (step 1303), the following process is performed.

カウント値CntがN2×(N2−1)/2を超えたか判定し(ステップ1304)、超えたなら処理を終える。 Count value Cnt is determined whether exceeds N2 × (N2-1) / 2 (step 1304), thus ending the process if exceeded. 超えない場合、Cnt番目(最初は1番目)の線分ペアを選択し(ステップ1305)、当該線分ペアを構成する2つの線分(線分A、線分Bとする)の成す角度を0〜90°の範囲で算出する(ステップ1306)。 If not exceeded, Cnt th (initially first) select line pairs (step 1305), two line segments constituting the line segment pair (segment A, and segment B) the angle between calculated in the range of 0 to 90 ° (step 1306). 線分ペアの成す角度は、図12に示したと同様である。 Angle between the line segment pair is the same as that shown in FIG. 12. ここで、線分ペアの成す角度に応じて以下の処理を行う。 Here, the following processing is performed in accordance with the angle formed by the line segment pair. なお、α、βは、例えば、統計等によりあらかじめ決めておく。 Incidentally, alpha, beta, for example, determined in advance by statistical or the like.

線分ペアの成す角度が0〜α度の場合には、当該線分ペアの距離を測定する(ステップ1307)。 The angle formed by the line segment pair in the case of 0~α degree measures the distance of the line segment pair (step 1307). そして、線分ペアの距離が所定の閾値以下か判定し(ステップ1308)、閾値以下のときは、線分ペアの分類を「無関係」とし、更に該線分ペアの評価値を0に設定する(ステップ1309)。 The distance of the line segment pair is determined to or less than a predetermined threshold value (step 1308), when the threshold value or less, the classification of the line segment pair is "irrelevant", and sets the evaluation value of the line segment pair to 0 (step 1309). 線分ペアの距離が閾値以上のときは、該線分ペアの分類を「対辺関係」とし、更に該線分ペアの評価値を0に設定する(ステップ1310)。 When the distance of the line segment pair is less than the threshold value, the classification of the line segment pair is "opposite side relation", further the evaluation value of the line segment pair is set to 0 (step 1310). その後、Cntを+1して(ステップ1314)、ステップ1304へ戻る。 After that, the Cnt is incremented by one (step 1314), and returns to step 1304.

線分ペアの成す角度がα〜β度の場合には、当該線分ペアの分類を「対辺関係」として(ステップ1311)、ステップ1313の処理に進む。 If the angle formed by the line segment pair α~β degree classification of the segment pair as "opposite side relation" (Step 1311), the process proceeds to step 1313. また、線分ペアの成す角度がβ〜90度の場合には、当該線分ペアの分類を「隣接関係」として(ステップ1312)、ステップ1313の処理に進む。 In the case of angles β~90 ° formed by the line segment pair, the classification of the segment pair as "adjacency" (step 1312), the process proceeds to step 1313. その後、Cntを+1して(ステップ1314)、ステップ1304へ戻る。 After that, the Cnt is incremented by one (step 1314), and returns to step 1304.

ステップ1313では、当該線分ペアの評価値を、次のようにして求めて設定する。 In step 1313, the evaluation value of the line segment pairs determined and set in the following manner. 評価値は0〜1までの値で表現する。 Evaluation value is represented by a value of up to 0-1.
1. 1. 線分Aを無限に延長した直線と、線分Bを無限に延長した直線の交点Oを求める。 And the straight line obtained by extending a line segment A indefinitely, the intersection point O of the straight line obtained by extending a line segment B infinitely seeking.
2. 2. 交点Oと線分Aの始点とのユークリッド距離、交点Oと線分Aの終点とのユークリッド距離を求め、小さい方の距離を距離Aとする。 Euclidean distance between the start point of intersection O and the line segment A, determine the Euclidean distance between the end point of the intersection O and the line segment A, a smaller distance between the distance A.
3. 3. 交点Oと線分Bの始点とのユークリッド距離、交点Oと線分Bの終点とのユークリッド距離を求め、小さい方の距離を距離Bとする。 Intersection O and the Euclidean distance between the starting point of the line segment B, obtains the Euclidean distance between the end point of the intersection O and the line segment B, and the smaller distance between the distance B.
4. 4. 距離A、距離Bを式(2)に代入することにより評価値(Value)を算出する。 Distance A, the distance B calculates the evaluation value (Value) By substituting the equation (2).

なお、Const. It should be noted, Const. 1は画像サイズに応じた定数である。 1 is a constant depending on the image size. 交点Oが画像領域外に存在するときには、Const. When the intersection O is outside the image area, Const. 1の値を変更することで、抽出したい四辺形の頂点が画像領域外に存在するときなどにも対応することができる。 By changing a value of 1, it can be dealt with, such as when the vertices of the extracted desired quadrilateral is outside the image area.

本実施例では、線分ペアの分類を3種類(対辺関係、隣接関係、無関係)とし、線分ペアの評価値を1種類としたが、対辺関係にも評価値を設ける方法も考えられる。 In this embodiment, the classification of three kinds of segment pairs (opposite side relationship, adjacent relationship, independent), and although the evaluation value of the line segment pair and the one, also conceivable to provide the evaluation value to opposite side relationship. ただし、分類や評価値の数を増やすと処理時間が増大する。 However, the processing time increases with increasing the number of classification or evaluation values.

<四辺形評価> <Quadrilateral evaluation>
四辺形評価部250では、線分ペア分類・評価部240で得られたR組(R=N2(N2−1)/2)の線分ペアから2組を順次取り出して、その種類と評価値に基づいて、当該2組の線分ペアが形成する四辺形に関して評価値の設定を行う。 In quadrilateral evaluator 250, R sets obtained by a segment pair classification and evaluation unit 240 (R = N2 (N2-1) / 2) and the line segment pair sequentially extracts two sets of the type as an evaluation value based on, and sets the evaluation value with respect to the quadrilateral to which the two pairs of line segments pair is formed. 図14に四辺形評価部250の処理フローチャートを示す。 It shows a flowchart of the quadrangle evaluation unit 250 in FIG. 14.

線分ペア分類・評価部240で得られたN2×(N2−1)/2個の線分ペアを入力として(ステップ1400)、P=1,R=N2×(N2−1)/2と設定し(ステップ1401)、R組(R=N2×(N2−1)/2)の線分ペアから2組の線分ペアの組み合わせをすべて抽出して(ステップ1402〜1406)、以下の処理を行う。 The segment N2 × (N2-1) obtained in pairs classification and evaluation unit 240 / two line pairs as input (step 1400), P = 1, R = N2 × (N2-1) / 2 and set (step 1401), and extracts all the combinations of two sets of line pair from the line pair R group (R = N2 × (N2-1) / 2) (step 1402-1406), the following processes I do.

2組の線分ペアを抽出し、線分ペアP、線分ペアQとする(ステップ1407)。 Extract the two pairs of line pairs, the line pairs P, and the line segment pair Q (step 1407). なお、線分ペアPは線分iと線分jから構成される線分ペアi,jと等価であり、同様に線分ペアQは線分ペアk,lと等価である。 Incidentally, the line segment pair P is equivalent to the line segment pair i, j consists of line i and line j, likewise line pair Q is equivalent to the line segment pair k, l.

まず、線分ペアPと線分Qが「対辺関係」か否かを調べる(ステップ1408)。 First, the line segment pair P and the line segment Q checks whether or not "opposite side relationship" (step 1408). 線分ペアPと線分Qが両方とも「対辺関係」である場合、線分ペアP,Qを構成する線分i、線分j、線分k、線分lが四辺形を成す可能性がある。 If the line segment pair P and the line segment Q are both "opposite side relation", the line segment i, segment j, the segment k, possibility of line segment l forms a quadrilateral constituting the line segment pair P, and Q there is. そこで、次に、4つの線分ペア(線分ペアj,k、線分ペアi,l、線分ペアj,k、線分ペアj,l)の評価値が0より大きいか否かを調べる(ステップ1409)。 Accordingly, next, four line segments pairs (line pairs j, k, line pair i, l, line pair j, k, line pair j, l) evaluation value of the zero or not greater than investigate (step 1409). 4つの線分ペアがすべて0より大きい評価値である場合、線分(直線)iと線分kの交点kの交点m1、線分iと線分lの交点m2、線分jと線分lの交点m3、線分jと線分kの交点m4からなる四辺形を生成する(ステップ1410)。 Four case segment pairs are all greater than zero evaluation value, a line segment (straight line) i and the intersection of the intersection k of segment k m1, the intersection of the line segment i and the line segment l m @ 2, a line segment j and the line segment l intersection of m3, generating a quadrilateral consisting of the intersection of the line segment j and the segment k m4 (step 1410). そして、この四辺形の評価値V(i,k,j,l)を、4つの線分ペアの評価値の和とする(ステップ1411)。 Then, evaluation value V of this quadrangle (i, k, j, l) and the sum of the evaluation values ​​of the four line segments pairs (step 1411).

本実施例では線分ペアの評価値が0より大きいか否かにより判別を行ったが、あらかじめ線分ペアの評価値に対しソートなどを行い、評価値が上位の線分ペアのみを利用するように評価値に閾値を設けると更に処理時間が短くなる。 Although the evaluation value of the line segment pairs were determined by greater than zero or not in the present embodiment, such a performs sorting to the evaluation value of the advance line pair evaluation value is to use only line pairs of the upper further processing time is shortened when providing the threshold evaluation value as. また、m1,m2,m3,m4の座標が画像領域から遠い位置に存在する場合は、V(i,k,j,l)=0としてもよい。 Also, m1, m2, m3, if the m4 coordinate exists at a position far from the image area, V (i, k, j, l) = may be 0. 加えて、四辺形m1m2m3m4が凸四辺形でない場合もV(i,k,j,l)=0としてもよい。 In addition, also V when quadrilaterals m1m2m3m4 is not convex quadrilateral (i, k, j, l) = may be 0.

次に、四辺形m1m2m3m4の面積Sを求め、V(i,k,j,l)に乗算する(ステップ1412)。 Then, determine the area S of the quadrilateral M1m2m3m4, multiplying V (i, k, j, l) (step 1412). なおSを乗算する代わりに、Sとともに単調増加する関数g(S)を作成し、g(S)をV(i,k,j,l)に乗算、加算することでもよい。 Note that instead of multiplying S, create a function g (S) that increases monotonically with S, g and (S) V (i, k, j, l) multiplied by, or by adding.

次に、形状により四辺形m1m2m3m4を評価する(ステップ1413)。 Next, to evaluate the quadrilateral m1m2m3m4 the shape (step 1413). これは、例えば、次のようにして行う。 This is, for example, it carried out in the following manner. 線分ペアi,jの交点と線分ペアk,lの交点を2つの消失点とし、2つの消失点を無限遠点に変換するような射影変換行列を求める。 Line pair i, the intersection and the segment pair k of j, the intersection of l as two vanishing points, obtaining two projective transformation matrix so as to convert the vanishing point to infinity. この射影変換行列を求めるには、四辺形m1m2m3m4が三次元平面上に存在する平行四辺形であると仮定することで、平面の単位法線ベクトル(a,b,c)を算出し(例えば、森北出版、金谷健一著、「画像理解」)を参照)、単位法線ベクトルをカメラの光軸と一致させるような回転移動行列を、入力画像撮影時の焦点距離を利用して求めることができる。 To determine the projective transformation matrix, by quadrilateral m1m2m3m4 is assumed to be a parallelogram existing on a three-dimensional plane, and calculating a unit normal vector of the plane (a, b, c) (e.g., Morikita publishing, Kenichi Kanaya al, see "image Understanding")), the rotational movement matrix that causes the unit normal vector is aligned with the optical axis of the camera, can be determined by using the focal length at the time of input image photographing . そして、四辺形m1m2m3m4を射影変換した射影平行四辺形n1n2n3n4を考え、射影平行四辺形の一つの角度θ(0°〜90°)を算出する。 Then, consider a projection parallelogram n1n2n3n4 that projective transformation quadrilateral M1m2m3m4, calculates one of an angle of projection parallelogram θ a (0 ° ~90 °). もし、θが90°以上となった場合は、そのほかの平行四辺形の角の角度を算出する。 If, when the θ becomes 90 ° or more, and calculates the angle of the other parallelogram corner. 求めたθをV(i,k,j,l)に乗算する。 The θ was determined to multiply the V (i, k, j, l). なお、θを乗算する代わりに、θとともに単調増加する関数f(θ)を作成し、f(θ)をV(i,k,j,l)に乗算、加算することでもよい。 Instead of multiplying theta, create a function f (theta) that increases monotonically with θ, f (θ) and V (i, k, j, l) multiplied by, or by adding. また、上記面積Sやg(s)で重み付けされたV(i,k,j,l)に、さらにθやf(0)を重み付けすることでもよい。 Further, the area S and g (s) in weighted the V (i, k, j, l) to be by weighting the further θ and f (0).

次に、四辺形i,k,j,lを構成する4つの線分ペアの交点m1m2m3m4と、評価値V(i,k,j,l)とをメモリ等に登録する(ステップ1414)。 Next, quadrilateral i, k, j, the intersection m1m2m3m4 of four line segments pairs configuring the l, evaluation value V register (i, k, j, l) and in a memory or the like (step 1414).

<四辺形選択> <Quadrilateral selection>
四辺形選択部260では、四辺形評価部250にて登録された四辺形のうち、評価値V(i,k,j,l)が高い順に一つあるいはそれ以上の四辺形を選択する。 In quadrilateral selecting section 260, of the quadrilateral registered in quadrilateral evaluation unit 250, the evaluation value V (i, k, j, l) selects one or more of the quadrilateral in descending order. なお、必要に応じて面積による評価値あるいは形状による評価値のいずれか一方を用いて選択することでもよい。 It may also be selected using either the evaluation value by the evaluation value or shape by area as necessary.

<射影変換> <Projective transformation>
射影変換部270では、四辺形選択部で選択された四辺形をもとに射影変換行列を算出し、入力画像に対して射影変換を行って、あおり補正を実施する。 The projective transformation unit 270, the quadrangle selected by the quadrangle selecting unit calculates a projective transformation matrix based by performing projective transformation on the input image, to implement the perspective correction.

射影変換行列の算出は、例えば次のように行われる。 Calculated projective transformation matrix is ​​carried out, for example, as follows. まず、四辺形m1m2m3m4の各頂点の順序を、原点に最も近い頂点を先頭とした時計回りに並び替え、再度四辺形m1m2m3m4とする。 First, the order of the vertices of a quadrilateral M1m2m3m4, rearranged clockwise with the top vertex closest to the origin, the quadrilateral M1m2m3m4 again. これを図15に示す。 This is shown in Figure 15. 次にステップ1413と同様の方法で射影平行四辺形を算出し、n1n2:n1n4の値を求める。 Then calculates the projection parallelogram in the same manner as in step 1413, N1N2: determine the value of N1n4. 入力画像の画像サイズをIMGW×IMGHとしたとき、横の長さ:縦の長さ=n1n2:n1n4を満たす長方形で、面積が最大&長方形の中心が画像中心と一致するような長方形を求め、その長方形の頂点を時計回りにu1,u2,u3,u4とする。 When the image size of the input image and the IMGW × ImgH, horizontal length: vertical length = n1n2: n1n4 rectangular satisfying obtains a rectangle having area center of the maximum and rectangle coincides with the center of the image, the vertices of the rectangle clockwise u1, u2, u3, and u4. なお、四辺形m1m2m3m4と同様、u1がu1u2u3u4のうち、最も原点に近い頂点とする。 Incidentally, similarly to the quadrilateral M1m2m3m4, u1 Out of U1u2u3u4, a vertex closest to the origin. そしてm1→u1,m2→u2,m3→u3,m4→u4と対応付ける射影変換行列を求める。 And determining the projective transformation matrix associated with m1 → u1, m2 → u2, m3 → u3, m4 → u4.

こうして求められた射影変換行列を使用して、入力画像に射影変換を施す。 Use projective transformation matrix obtained in this manner is subjected to projective transformation on the input image. なお、射影変換を施す際には必要に応じて画像の拡大・縮小、平行移動・回転移動を加えることもできる。 Incidentally, when performing a projective transformation image enlargement and reduction, if necessary it can be added to translation and rotation movement.

図16に具体例を示す。 Figure 16 shows a specific example. 例えば、撮影画像(入力画像)が図16(a)であるとし、この射影画像から抽出された四辺形が図16(b)中の1600で示された四辺形形状だとすると、例えば、図16(c)のようなあおり補正された画像を得ることができる。 For example, when the captured image (input image) and a FIG. 16 (a), the quadrilateral extracted from the projection image is that it quadrilateral shape shown at 1600 in FIG. 16 (b), the example, FIG. 16 ( tilt corrected image, such as c) can be obtained.

以上、本発明の一実施形態について説明したが、本発明は、この実施形態に限定されるものではなく、種々の変更、拡張が可能である。 Having described an embodiment of the present invention, the present invention is not limited to this embodiment, various modifications are possible extensions.

本発明の画像処理機能が適用されるデジタルカメラ装置の一実施形態の構成図である。 Is a block diagram of an embodiment of a digital camera apparatus image processing functions of the present invention is applied. あおり補正の概念図である。 It is a conceptual diagram of a tilt correction. 本発明の画像処理機能であるあおり補正部の一実施形態を示す構成図である。 An embodiment of the tilt correction unit which is an image processing function of the present invention is a configuration diagram showing. 図3中のエッジ領域検出部の処理フローチャート例である。 It is a flowchart example of an edge region detection unit in FIG. エッジ検出フィルタの一例と該フィルタが適用される輝度画像の一例である。 An example of an edge detection filter and which is an example of a luminance image to which the filter is applied. 輝度の縦変化量と横変化量による2次元空間の分割の一例である。 It is an example of division of the two-dimensional space by longitudinal variation and lateral variation in luminance. 図3中の線分抽出部の全体的処理フローチャート例である。 An overall process flowchart example of the line segment extraction section in Fig. 線分抽出の具体例である。 A specific example of the line segment extraction. 図7中のステップ1104の詳細な処理フローチャート例である。 It is a detailed process flowchart example of step 1104 in FIG. 隣接エッジ領域の探索の具体例である。 A specific example of the search of the adjacent edge regions. 図3中の線分生成部の処理フローチャート例である。 It is a flowchart example of the line segment generation unit in FIG. 線分生成の具体例である。 A specific example of a line segment generation. 図3中の線分ペア分類・評価部の処理フローチャート例である。 It is a flowchart example of the line segment pair classification and evaluation unit in FIG. 図3中の四辺形評価部の処理フローチャート例である。 It is a flowchart example of a quadrilateral evaluator in FIG. 図3中の射影変換部での処理の一部を説明する図である。 It is a diagram illustrating a part of the processing of the projective transformation unit in FIG. 撮影画像から四辺形を抽出し、あおり補正画像を得る具体例である。 Extract the quadrilateral from the photographed image is a specific example of obtaining the tilt correction image. 従来技術の問題を説明する図である。 It is a diagram for explaining the problems of the prior art.

符号の説明 DESCRIPTION OF SYMBOLS

120 あおり補正部 200 四辺形抽出部 210 エッジ領域検出部 220 線分抽出部 230 線分生成部 240 線分ペア分類・評価部 250 四辺形評価部 260 四辺形選択部 270 射影変換部 120 tilt correction section 200 quadrangle extracting unit 210 edge area detecting unit 220 segment extraction unit 230 segments generator 240 segments pairs classification and evaluation unit 250 quadrilateral evaluator 260 quadrilateral selecting section 270 projective transformation unit

Claims (20)

  1. 入力画像から一つあるいは複数の四辺形を認識する画像処理方法であって、 A recognizing image processing method of one or more of the quadrilateral from the input image,
    入力画像から複数のエッジ領域を検出するエッジ領域検出工程と、 An edge region detection step of detecting a plurality of edge areas from the input image,
    前記検出された複数のエッジ領域に対応する複数の線分を抽出する線分抽出工程と、 A line segment extraction step of extracting a plurality of line segments corresponding to the detected plurality of edges regions,
    前記抽出された複数の線分から、2つの線分(以下、線分ペア)の組み合わせを選択し、各線分ペアを、当該線分ペアを構成する2つの線分の相対位置に応じて分類し、当該線分ペアの評価値を算出する線分ペア分類・評価工程と、 A plurality of line segments the extracted two line segments (hereinafter, line pair) to select a combination of, each line segment pairs, sorted according to the relative position of the two line segments constituting the line segment pairs , a line segment pair classification and evaluation step of calculating an evaluation value of the line segment pairs,
    複数の線分ペアから、2つの線分ペアの組み合わせを選択し、それぞれ、2つの線分ペアの4つの線分により四辺形を生成し、各四辺形について、当該四辺形を構成する線分ペアの分類と評価値に基づいて四辺形評価値を算出する四辺形評価工程と、 Segment from a plurality of segments pairs, selects a combination of two line segments pairs, respectively, to generate a quadrilateral with four line segments of the two line segments pairs, for each quadrilateral, constituting the quadrilaterals a quadrilateral evaluation step of calculating a quadrilateral evaluation value based on the classification of the pair as an evaluation value,
    前記算出された四辺形評価値に基づいて四辺形を選択する四辺形選択工程と、 A quadrilateral selection step of selecting a quadrilateral based on quadrilateral evaluation value the calculated,
    を有することを特徴とする画像処理方法。 An image processing method characterized in that it comprises a.
  2. 請求項1に記載の画像処理方法において、 The image processing method according to claim 1,
    前記線分抽出工程により抽出された複数の線分を入力として、線分ペアの組み合わせを複数選択し、各線分ペアを構成する2つの線分の位置関係により、新しい線分を生成して既存の線分に追加する線分生成工程をさらに有し、 Existing said as input a plurality of line segments extracted by the line segment extraction step, a combination of line segments pairs and multiple selection, the positional relationship between the two line segments constituting the line segment pair, to generate a new line segment further comprising a line segment generation step of adding to the line segment,
    前記線分ペア分類・評価工程では、前記線分抽出工程で抽出された線分と前記線分生成工程で生成された線分とを入力として、線分ペアのすべての組み合わせを選択する、 And in the line pair classification and evaluation step, as input and the line segment generated by the line segment generating step and a line segment extracted by the line segment extraction step selects all combinations of segment pairs,
    ことを特徴とする画像処理方法。 Image processing method, characterized in that.
  3. 請求項1もしくは2に記載の画像処理方法において、 The image processing method according to claim 1 or 2,
    前記エッジ領域検出工程では、入力画像の各画素に対して輝度の縦変化量、横変化量を算出し、該縦変化量と横変化量に基づいてエッジ領域を検出すると共に、該縦変化量と横変化量による2次元空間を複数に分割して、エッジ領域を、その方向に応じて複数のグループ(以下、方向グループ)にグループ分けする、 In the edge region detection step, the vertical variation of the luminance for each pixel of the input image, calculates a lateral variation, and detects the edge region on the basis of the said longitudinal variation and lateral variation, said longitudinal variation and the two-dimensional space by the lateral variation is divided into a plurality of edge regions, a plurality of groups (hereinafter, direction group) according to the direction grouped into,
    ことを特徴とする画像処理方法。 Image processing method, characterized in that.
  4. 請求項3に記載の画像処理方法において、 The image processing method according to claim 3,
    前記線分抽出工程では、各方向グループごとに、各エッジ領域の画素情報を用いて主成分分析を行って、線分(直線)を抽出する、 In the line segment extraction step, for each direction group by performing principal component analysis using the pixel information of each edge area, and extracts a line segment (straight line),
    ことを特徴とする画像処理方法。 Image processing method, characterized in that.
  5. 請求項4に記載の画像処理方法において、 The image processing method according to claim 4,
    前記線分抽出工程では、各エッジ領域の主成分方向に探索を行い、所定の画素数以内の隣接する複数のエッジ領域を統合して、元のエッジ領域を除去し、該統合したエッジ領域に対応する線分を抽出する、 In the line segment extraction step, carries out the search in the main component direction of the edge region, by integrating a plurality of edge regions adjacent within a predetermined number of pixels, and remove the original edge region, the edge regions said integrated and it extracts the corresponding line segment,
    ことを特徴とする画像処理方法。 Image processing method, characterized in that.
  6. 請求項1乃至5のいずれか1項に記載の画像処理方法において、 The image processing method according to any one of claims 1 to 5,
    前記線分ペア分類・評価工程では、各線分ペアを、当該線分ペアを構成する2つの線分の相対位置関係に応じて、対辺、隣接辺あるいは無関係に分類して、評価値を算出し、 In the line pair classification and evaluation step, each line segment pairs, depending on the relative positional relationship between the two line segments constituting the line segment pairs, opposite sides, and classified adjacent edge or independently, calculates an evaluation value ,
    前記四辺形評価工程では、対辺と隣接辺関係の線分ペアをもとに四辺形を生成して四辺形評価値を算出する、 In the quadrilateral evaluation step calculates a quadrilateral evaluation value to generate a quadrilateral based on the line pair adjacent side relationship with the opposite side,
    ことを特徴とする画像処理方法。 Image processing method, characterized in that.
  7. 請求項1乃至6のいずれか1項に記載の画像処理方法において、 The image processing method according to any one of claims 1 to 6,
    前記四辺形評価工程では、四辺形の面積を求め、前記線分ペアの評価値による四辺形評価値に前記面積を重み付けした値を、あらたに四辺形評価値とする、 In the quadrilateral evaluation step, and measuring the area of ​​a quadrilateral, a value obtained by weighting the area quadrilateral evaluation value by the evaluation value of the line pair, newly and quadrilateral evaluation value,
    ことを特徴とする画像処理方法。 Image processing method, characterized in that.
  8. 請求項1乃至7のいずれか1項に記載の画像処理方法において、 The image processing method according to any one of claims 1 to 7,
    前記四辺形評価工程では、四辺形を平行四辺形に変換する射影変換行列を求め、射影変換後の平行四辺形の形状に基づいて前記四辺形評価値を重み付けした値を四辺形評価値とする、 In the quadrilateral evaluation step obtains a projective transformation matrix for transforming the quadrangle into a parallelogram, and quadrilateral evaluation value a value obtained by weighting the quadrilateral evaluation value based on the shape of a parallelogram after the projection transformation ,
    ことを特徴とする画像処理方法。 Image processing method, characterized in that.
  9. 請求項1乃至8のいずれか1項に記載の画像処理方法において、 The image processing method according to any one of claims 1 to 8,
    前記四辺形選択工程により選択された四辺形から射影変換行列を算出し、前記入力画像に対して射影変換を施す射影変換工程をさらに有する、 It calculates a projective transformation matrix from quadrangle selected by the quadrangle selecting step further includes a projective transformation step of applying projective transformation on the input image,
    ことを特徴とする画像処理方法。 Image processing method, characterized in that.
  10. 入力画像から一つあるいは複数の四辺形を認識する画像処理装置であって、 A recognizing the image processing apparatus of one or more of the quadrilateral from the input image,
    入力画像から複数のエッジ領域を検出するエッジ領域検出手段と、 An edge area detecting means for detecting a plurality of edge areas from the input image,
    前記検出された複数のエッジ領域に対応する複数の線分を抽出する線分抽出手段と、 A line segment extracting means for extracting a plurality of line segments corresponding to the detected plurality of edges regions,
    前記抽出された複数の線分から、2つの線分(以下、線分ペア)の組み合わせを選択し、各線分ペアを、当該線分ペアを構成する2つの線分の相対位置に応じて分類し、当該線分ペアの評価値を算出する線分ペア分類・評価手段と、 A plurality of line segments the extracted two line segments (hereinafter, line pair) to select a combination of, each line segment pairs, sorted according to the relative position of the two line segments constituting the line segment pairs , a line segment pair classification and evaluation means for calculating an evaluation value of the line segment pairs,
    複数の線分ペアから、2つの線分ペアの組み合わせを選択し、それぞれ、2つの線分ペアの4つの線分により四辺形を生成し、各四辺形について、当該四辺形を構成する線分ペアの分類と評価値に基づいて四辺形評価値を算出する四辺形評価手段と、 Segment from a plurality of segments pairs, selects a combination of two line segments pairs, respectively, to generate a quadrilateral with four line segments of the two line segments pairs, for each quadrilateral, constituting the quadrilaterals a quadrilateral evaluation means for calculating a quadrilateral evaluation value based on the classification of the pair as an evaluation value,
    前記算出された四辺形評価値に基づいて四辺形を選択する四辺形選択手段と、 A quadrilateral selecting means for selecting a quadrilateral based on quadrilateral evaluation value the calculated,
    を有することを特徴とする画像処理装置。 The image processing apparatus characterized by having a.
  11. 請求項10に記載の画像処理装置において、 The image processing apparatus according to claim 10,
    前記線分抽出手段により抽出された複数の線分を入力として、線分ペアの組み合わせを複数選択し、各線分ペアを構成する2つの線分の位置関係により、新しい線分を生成して既存の線分に追加する線分生成手段をさらに有し、 Existing said plurality of line segments as input extracted by the line segment extraction unit, a combination of line segments pairs and multiple selection, the positional relationship between the two line segments constituting the line segment pair, to generate a new line segment further comprising a line segment generating means for adding to the line segment,
    前記線分ペア分類・評価手段では、前記線分抽出手段で抽出された線分と前記線分生成手段で生成された線分とを入力として、線分ペアのすべての組み合わせを選択する、 In the line pair classification and evaluation unit as an input and a line segment generated by the line segment generating means and the line segment extracted by the line segment extraction unit, to select all combinations of segment pairs,
    ことを特徴とする画像処理装置。 The image processing apparatus characterized by.
  12. 請求項10もしくは11に記載の画像処理装置において、 The image processing apparatus according to claim 10 or 11,
    前記エッジ領域検出手段では、入力画像の各画素に対して輝度の縦変化量、横変化量を算出し、該縦変化量と横変化量に基づいてエッジ領域を検出すると共に、該縦変化量と横変化量による2次元空間を複数に分割して、エッジ領域を、その方向に応じて複数のグループ(以下、方向グループ)にグループ分けする、 In the edge region detection unit, the vertical variation of the luminance for each pixel of the input image, calculates a lateral variation, and detects the edge region on the basis of the said longitudinal variation and lateral variation, said longitudinal variation and the two-dimensional space by the lateral variation is divided into a plurality of edge regions, a plurality of groups (hereinafter, direction group) according to the direction grouped into,
    ことを特徴とする画像処理装置。 The image processing apparatus characterized by.
  13. 請求項12に記載の画像処理装置において、 The image processing apparatus according to claim 12,
    前記線分抽出手段では、各方向グループごとに、各エッジ領域の画素情報を用いて主成分分析を行って、線分(直線)を抽出する、 In the line segment extraction unit, for each direction group by performing principal component analysis using the pixel information of each edge area, and extracts a line segment (straight line),
    ことを特徴とする画像処理装置。 The image processing apparatus characterized by.
  14. 請求項13に記載の画像処理装置において、 The image processing apparatus according to claim 13,
    前記線分抽出手段では、各エッジ領域の主成分方向に探索を行い、所定の画素数以内の隣接する複数のエッジ領域を統合して、元のエッジ領域を除去し、該統合したエッジ領域に対応する線分を抽出する、 In the line segment extraction unit, carries out the search in the main component direction of the edge region, by integrating a plurality of edge regions adjacent within a predetermined number of pixels, and remove the original edge region, the edge regions said integrated and it extracts the corresponding line segment,
    ことを特徴とする画像処理装置。 The image processing apparatus characterized by.
  15. 請求項9乃至14のいずれか1項に記載の画像処理装置において、 The image processing apparatus according to any one of claims 9 to 14,
    前記線分ペア分類・評価手段では、各線分ペアを、当該線分ペアを構成する2つの線分の相対位置関係に応じて、対辺、隣接辺あるいは無関係に分類して、評価値を算出し、 In the line pair classification and evaluation means, each line segment pairs, depending on the relative positional relationship between the two line segments constituting the line segment pairs, opposite sides, and classified adjacent edge or independently, calculates an evaluation value ,
    前記四辺形評価手段では、対辺と隣接辺関係の線分ペアをもとに四辺形を生成して四辺形評価値を算出する、 In the quadrilateral evaluation means calculates the quadrilateral evaluation value to generate a quadrilateral based on the line pair adjacent side relationship with the opposite side,
    ことを特徴とする画像処理装置。 The image processing apparatus characterized by.
  16. 請求項9乃至15のいずれか1項に記載の画像処理装置において、 The image processing apparatus according to any one of claims 9 to 15,
    前記四辺形評価手段では、四辺形の面積を求め、前記線分ペアの評価値による四辺形評価値に前記面積を重み付けした値を、あらたに四辺形評価値とする、 In the quadrilateral evaluation unit determines the area of ​​the quadrilateral, a value obtained by weighting the area quadrilateral evaluation value by the evaluation value of the line pair, newly and quadrilateral evaluation value,
    ことを特徴とする画像処理装置。 The image processing apparatus characterized by.
  17. 請求項9乃至16のいずれか1項に記載の画像処理装置において、 The image processing apparatus according to any one of claims 9 to 16,
    前記四辺形評価手段では、四辺形を平行四辺形に変換する射影変換行列を求め、射影変換後の平行四辺形の形状に基づいて前記四辺形評価値を重み付けした値を、あらたに四辺形評価値とする、 In the quadrilateral evaluation means obtains a projective transformation matrix for transforming the quadrangle into a parallelogram, a value obtained by weighting the quadrilateral evaluation value based on the shape of a parallelogram after the projection transformation, newly quadrilateral Rating and value,
    ことを特徴とする画像処理装置。 The image processing apparatus characterized by.
  18. 請求項9記載乃至17のいずれか1項に記載の画像処理装置において、 The image processing apparatus according to any one of claims 9, wherein to 17,
    前記四辺形選択手段により選択された四辺形から射影変換行列を算出し、前記入力画像に対して射影変換を施す射影変換手段をさらに有する、 It calculates a projective transformation matrix from quadrangle selected by the quadrangle selecting unit further includes a projective transformation means for performing a projective transformation to the input image,
    ことを特徴とする画像処理装置。 The image processing apparatus characterized by.
  19. 請求項10乃至18のいずれか1項に記載の画像処理装置の各手段を具備することを特徴するデジタルカメラ装置。 Digital camera apparatus characterized by comprising the means of the image processing apparatus according to any one of claims 10 to 18.
  20. 請求項1乃至9のいずれか1項に記載の画像処理方法の各工程をコンピュータに実行させるための画像処理プログラムを記録したことを特徴とする記録媒体。 Recording medium characterized by recording an image processing program for executing the respective steps of the image processing method according to any one of claims 1 to 9 on a computer.
JP2005243958A 2005-08-25 2005-08-25 Image processing method and apparatus, a digital camera device, and a recording medium recording an image processing program Active JP4712487B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005243958A JP4712487B2 (en) 2005-08-25 2005-08-25 Image processing method and apparatus, a digital camera device, and a recording medium recording an image processing program

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2005243958A JP4712487B2 (en) 2005-08-25 2005-08-25 Image processing method and apparatus, a digital camera device, and a recording medium recording an image processing program
EP20060782754 EP1917639A4 (en) 2005-08-25 2006-08-09 Image processing method and apparatus, digital camera, and recording medium recording image processing program
US12063684 US8120665B2 (en) 2005-08-25 2006-08-09 Image processing method and apparatus, digital camera, and recording medium recording image processing program
PCT/JP2006/316076 WO2007023715A1 (en) 2005-08-25 2006-08-09 Image processing method and apparatus, digital camera, and recording medium recording image processing program
CN 200680030612 CN101248454B (en) 2005-08-25 2006-08-09 Image processing method and image processor, digital camera equipment, and recording medium with image processing program stored thereon
KR20087004468A KR100947002B1 (en) 2005-08-25 2006-08-09 Image processing method and apparatus, digital camera, and recording medium recording image processing program

Publications (2)

Publication Number Publication Date
JP2007058634A true true JP2007058634A (en) 2007-03-08
JP4712487B2 JP4712487B2 (en) 2011-06-29

Family

ID=37922065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005243958A Active JP4712487B2 (en) 2005-08-25 2005-08-25 Image processing method and apparatus, a digital camera device, and a recording medium recording an image processing program

Country Status (2)

Country Link
JP (1) JP4712487B2 (en)
CN (1) CN101248454B (en)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010062722A (en) * 2008-09-02 2010-03-18 Casio Comput Co Ltd Image processing apparatus and computer program
JP2010113653A (en) * 2008-11-10 2010-05-20 Kyodo Printing Co Ltd Frame detection method, frame detector, and frame detection program
JP2010541087A (en) * 2007-10-05 2010-12-24 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド Image analyzing apparatus and method
JP4630936B1 (en) * 2009-10-28 2011-02-09 シャープ株式会社 Image processing apparatus, image processing method, image processing program, a recording medium recording an image processing program
JP2011034387A (en) * 2009-08-03 2011-02-17 Sharp Corp Image output device, mobile terminal device, captured image processing system, image output method, program and recording medium
JP2011035942A (en) * 2010-11-12 2011-02-17 Casio Computer Co Ltd Image processing apparatus and computer program
JP2011134322A (en) * 2009-12-23 2011-07-07 Intel Corp Model-based play field registration
US8125544B2 (en) 2008-09-02 2012-02-28 Casio Computer Co., Ltd. Image processing apparatus for extracting quadrangle area in image
JP2012212346A (en) * 2011-03-31 2012-11-01 Sony Corp Image processing apparatus, image processing method and image processing program
JP2012216184A (en) * 2012-01-24 2012-11-08 Nanao Corp Display device, image processing device, image area detecting method, and computer program
JP2013033406A (en) * 2011-08-02 2013-02-14 Ntt Comware Corp Image processing device, image processing method, and image processing program
JP2013041315A (en) * 2011-08-11 2013-02-28 Fujitsu Ltd Image recognition device and image recognition method
JP2013089234A (en) * 2011-10-17 2013-05-13 Sharp Corp Image processing system
JP2013114380A (en) * 2011-11-28 2013-06-10 Kddi Corp Information terminal device
JP2014021647A (en) * 2012-07-17 2014-02-03 Kurabo Ind Ltd Tilt correction device, tilt correction method and computer program for tilt correction
US8744170B2 (en) 2011-08-04 2014-06-03 Casio Computer Co., Ltd. Image processing apparatus detecting quadrilateral region from picked-up image
JP2014106922A (en) * 2012-11-29 2014-06-09 Samsung R&D Institute Japan Co Ltd Pointing device and a pointing device program
JP2015035040A (en) * 2013-08-08 2015-02-19 カシオ計算機株式会社 Image processing apparatus, image processing method, and program
JP2015049776A (en) * 2013-09-03 2015-03-16 国立大学法人 東京大学 Image processor, image processing method and image processing program
JP2015068707A (en) * 2013-09-27 2015-04-13 シャープ株式会社 Defect determination device, defect inspection device, and defect determination method
JP2015153190A (en) * 2014-02-14 2015-08-24 Kddi株式会社 Information terminal device, method and program
JP2016126447A (en) * 2014-12-26 2016-07-11 キヤノン株式会社 Image processing apparatus and image processing method

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101720771B1 (en) * 2010-02-02 2017-03-28 삼성전자주식회사 Digital photographing apparatus, method for controlling the same, and recording medium storing program to execute the method
US8781152B2 (en) * 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
CN102637252B (en) * 2011-02-11 2014-07-02 汉王科技股份有限公司 Calling card positioning method and device
JP2011134343A (en) * 2011-02-24 2011-07-07 Nintendo Co Ltd Image processing program, image processing apparatus, image processing system, and image processing method
JP5854774B2 (en) 2011-11-11 2016-02-09 株式会社Pfu The image processing apparatus, the line detection method and computer program
JP5822664B2 (en) * 2011-11-11 2015-11-24 株式会社Pfu The image processing apparatus, the line detection method and computer program
JP5951367B2 (en) * 2012-01-17 2016-07-13 シャープ株式会社 Imaging device, capturing an image processing system, a program and a recording medium
CN102881027A (en) * 2012-07-26 2013-01-16 方正国际软件有限公司 Method and system for detecting quadrangle of given region in image
JP2014092899A (en) * 2012-11-02 2014-05-19 Fuji Xerox Co Ltd Image processing apparatus and image processing program
CN103327262B (en) * 2013-06-19 2016-08-10 北京视博数字电视科技有限公司 A method and system for video segmentation
CN103399695B (en) * 2013-08-01 2016-08-24 上海合合信息科技发展有限公司 Quadrilateral frame recognition method and apparatus for intelligent wireless communication terminal
CN104822069B (en) * 2015-04-30 2018-09-28 北京爱奇艺科技有限公司 A picture information detecting method and device
CN105260997A (en) * 2015-09-22 2016-01-20 北京好运到信息科技有限公司 Method for automatically obtaining target image

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05253352A (en) * 1992-03-13 1993-10-05 Ace Denken:Kk Ball circulation apparatus in pachinko hall
JPH06194138A (en) * 1992-12-24 1994-07-15 Nippon Telegr & Teleph Corp <Ntt> Attitude estimating method for object and its device
JPH09288741A (en) * 1996-04-19 1997-11-04 Nissan Motor Co Ltd Graphic designation supporting device
JP2000341501A (en) * 1999-03-23 2000-12-08 Minolta Co Ltd Device and method for processing image and recording medium with image processing program stored therein
JP2001177716A (en) * 1999-12-17 2001-06-29 Ricoh Co Ltd Image processing method and image processor
JP2002359838A (en) * 2001-03-28 2002-12-13 Matsushita Electric Ind Co Ltd Device for supporting driving
JP2003058877A (en) * 2001-08-20 2003-02-28 Pfu Ltd Method, device and program for correcting distortion
JP2005018195A (en) * 2003-06-24 2005-01-20 Minolta Co Ltd Image processing apparatus and image processing program
JP2005122320A (en) * 2003-10-14 2005-05-12 Casio Comput Co Ltd Photographing apparatus, and its image processing method and program

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05253352A (en) * 1992-03-13 1993-10-05 Ace Denken:Kk Ball circulation apparatus in pachinko hall
JPH06194138A (en) * 1992-12-24 1994-07-15 Nippon Telegr & Teleph Corp <Ntt> Attitude estimating method for object and its device
JPH09288741A (en) * 1996-04-19 1997-11-04 Nissan Motor Co Ltd Graphic designation supporting device
JP2000341501A (en) * 1999-03-23 2000-12-08 Minolta Co Ltd Device and method for processing image and recording medium with image processing program stored therein
JP2001177716A (en) * 1999-12-17 2001-06-29 Ricoh Co Ltd Image processing method and image processor
JP2002359838A (en) * 2001-03-28 2002-12-13 Matsushita Electric Ind Co Ltd Device for supporting driving
JP2003058877A (en) * 2001-08-20 2003-02-28 Pfu Ltd Method, device and program for correcting distortion
JP2005018195A (en) * 2003-06-24 2005-01-20 Minolta Co Ltd Image processing apparatus and image processing program
JP2005122320A (en) * 2003-10-14 2005-05-12 Casio Comput Co Ltd Photographing apparatus, and its image processing method and program

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010541087A (en) * 2007-10-05 2010-12-24 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド Image analyzing apparatus and method
US8363955B2 (en) 2007-10-05 2013-01-29 Sony Computer Entertainment Europe Limited Apparatus and method of image analysis
JP4715888B2 (en) * 2008-09-02 2011-07-06 カシオ計算機株式会社 The image processing apparatus and computer program
JP2010062722A (en) * 2008-09-02 2010-03-18 Casio Comput Co Ltd Image processing apparatus and computer program
US8125544B2 (en) 2008-09-02 2012-02-28 Casio Computer Co., Ltd. Image processing apparatus for extracting quadrangle area in image
JP2010113653A (en) * 2008-11-10 2010-05-20 Kyodo Printing Co Ltd Frame detection method, frame detector, and frame detection program
JP2011034387A (en) * 2009-08-03 2011-02-17 Sharp Corp Image output device, mobile terminal device, captured image processing system, image output method, program and recording medium
US8731321B2 (en) 2009-10-28 2014-05-20 Sharp Kabushiki Kaisha Image processing device, image processing method, image processing program, and recording medium with recorded image processing program
JP2011097251A (en) * 2009-10-28 2011-05-12 Sharp Corp Image processor, image processing method, image processing program, and recording medium with image processing program recorded thereon
EP2495949A4 (en) * 2009-10-28 2014-05-07 Sharp Kk Image processing device, image processing method, image processing program, and recording medium with recorded image processing program
WO2011052276A1 (en) * 2009-10-28 2011-05-05 シャープ株式会社 Image processing device, image processing method, image processing program, and recording medium with recorded image processing program
CN102648622A (en) * 2009-10-28 2012-08-22 夏普株式会社 Image processing device, image processing method, image processing program, and recording medium with recorded image processing program
EP2495949A1 (en) * 2009-10-28 2012-09-05 Sharp Kabushiki Kaisha Image processing device, image processing method, image processing program, and recording medium with recorded image processing program
JP4630936B1 (en) * 2009-10-28 2011-02-09 シャープ株式会社 Image processing apparatus, image processing method, image processing program, a recording medium recording an image processing program
JP2011134322A (en) * 2009-12-23 2011-07-07 Intel Corp Model-based play field registration
JP2011035942A (en) * 2010-11-12 2011-02-17 Casio Computer Co Ltd Image processing apparatus and computer program
US9443348B2 (en) 2011-03-31 2016-09-13 Sony Corporation Image processing apparatus, image processing method, and program
JP2012212346A (en) * 2011-03-31 2012-11-01 Sony Corp Image processing apparatus, image processing method and image processing program
US9715743B2 (en) 2011-03-31 2017-07-25 Sony Corporation Image processing apparatus, image processing method, and program
JP2013033406A (en) * 2011-08-02 2013-02-14 Ntt Comware Corp Image processing device, image processing method, and image processing program
US8744170B2 (en) 2011-08-04 2014-06-03 Casio Computer Co., Ltd. Image processing apparatus detecting quadrilateral region from picked-up image
JP2013041315A (en) * 2011-08-11 2013-02-28 Fujitsu Ltd Image recognition device and image recognition method
US9390342B2 (en) 2011-10-17 2016-07-12 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for correcting perspective distortion in a document image
JP2013089234A (en) * 2011-10-17 2013-05-13 Sharp Corp Image processing system
JP2013114380A (en) * 2011-11-28 2013-06-10 Kddi Corp Information terminal device
JP2012216184A (en) * 2012-01-24 2012-11-08 Nanao Corp Display device, image processing device, image area detecting method, and computer program
JP2014021647A (en) * 2012-07-17 2014-02-03 Kurabo Ind Ltd Tilt correction device, tilt correction method and computer program for tilt correction
JP2014106922A (en) * 2012-11-29 2014-06-09 Samsung R&D Institute Japan Co Ltd Pointing device and a pointing device program
JP2015035040A (en) * 2013-08-08 2015-02-19 カシオ計算機株式会社 Image processing apparatus, image processing method, and program
JP2015049776A (en) * 2013-09-03 2015-03-16 国立大学法人 東京大学 Image processor, image processing method and image processing program
JP2015068707A (en) * 2013-09-27 2015-04-13 シャープ株式会社 Defect determination device, defect inspection device, and defect determination method
JP2015153190A (en) * 2014-02-14 2015-08-24 Kddi株式会社 Information terminal device, method and program
JP2016126447A (en) * 2014-12-26 2016-07-11 キヤノン株式会社 Image processing apparatus and image processing method

Also Published As

Publication number Publication date Type
CN101248454B (en) 2012-11-21 grant
CN101248454A (en) 2008-08-20 application
JP4712487B2 (en) 2011-06-29 grant

Similar Documents

Publication Publication Date Title
Swaminathan et al. Digital image forensics via intrinsic fingerprints
Farid Image forgery detection
Van Lanh et al. A survey on digital camera image forensic methods
US20150091900A1 (en) Systems and Methods for Depth-Assisted Perspective Distortion Correction
US20090225180A1 (en) Image processing method and apparatus, digital camera, and recording medium recording image processing program
US20090273685A1 (en) Foreground/Background Segmentation in Digital Images
US20160165212A1 (en) System and Methods for Calibration of an Array Camera
US20110157387A1 (en) Method and apparatus for generating image data
Piva An overview on image forensics
US20130044254A1 (en) Image capture for later refocusing or focus-manipulation
San Choi et al. Source camera identification using footprints from lens aberration
JP2006050494A (en) Image photographing apparatus
CN102006425A (en) Method for splicing video in real time based on multiple cameras
US20080240602A1 (en) Edge mapping incorporating panchromatic pixels
CN101625760A (en) Method for correcting certificate image inclination
JPH11185018A (en) Image processor
Zhao et al. Detecting digital image splicing in chroma spaces
JP2007052670A (en) Method, apparatus and program for detecting side and evaluating corner
US20100182480A1 (en) Image processing apparatus, image matching method, and computer-readable recording medium
US20080226171A1 (en) Correcting device and method for perspective transformed document images
CN101248454A (en) Image processing method and image processor, digital camera equipment, and recording medium with image processing program stored thereon
JP2009086926A (en) Image recognition method and device
US20080232698A1 (en) Object image detection method and object image detection device
CN101458770A (en) Character recognition method and system
JP2001331806A (en) Image processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100901

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110323

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140401

Year of fee payment: 3