JP2018106349A

JP2018106349A - Image processing system

Info

Publication number: JP2018106349A
Application number: JP2016250800A
Authority: JP
Inventors: 龍太土井; Ryuta Doi
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2016-12-26
Filing date: 2016-12-26
Publication date: 2018-07-05
Anticipated expiration: 2036-12-26
Also published as: JP6708118B2

Abstract

PROBLEM TO BE SOLVED: To automatically execute image processing of photographed images as a document or a picture according to user's purpose of photographing.SOLUTION: An image processing system 100 includes: an image data acquisition part 11 which acquires a plurality of pieces of image data generated as a camera 200 photographs a same manuscript MS a plurality of times from different directions; a photographing angle estimation part 12 which estimates a photographing angle of one object piece of image data that is to be an object among the plurality of pieces of image data on the bases of the plurality of pieces of image data acquired by the image data acquisition part 11; a correction processing part 15 which extracts a manuscript area image from the object piece of image data only when the photographing angle estimated by the photographing angle estimation part 12 is within a specific angle A and performs trapezoid correction of the manuscript area image; and an image output part 14 which outputs the object piece of image data corrected by the correction processing part 15 or outputs the object piece of image data without executing the correction by the correction processing part 15 when the photographing angle estimated by the photographing angle estimation part 12 is out of the specific angle.SELECTED DRAWING: Figure 1

Description

本発明は、撮影された画像データの画像処理を行う画像処理装置に関する。 The present invention relates to an image processing apparatus that performs image processing of captured image data.

近年、会議等の資料をスマートフォンやカメラ等で撮影し、電子データとして保存することがある。そこで、撮影された画像を文書データとして読みやすくするために、画像に文字認識を行い、画像内の文字を文字認識により得られたテキストデータに置き換えたり、画像内の文字間隔や行間隔を変更したりして補正する技術が提案されている（例えば、特許文献１〜３を参照）。 In recent years, materials such as conferences are sometimes photographed with a smartphone or a camera and stored as electronic data. Therefore, in order to make it easy to read the captured image as document data, character recognition is performed on the image and characters in the image are replaced with text data obtained by character recognition, or character spacing and line spacing in the image are changed. For example, patent documents 1 to 3 have been proposed.

特開２００４−０６２３５０号公報Japanese Patent Laid-Open No. 2004-062350 特開２０１５−２１０７４９号公報Japanese Patent Laid-Open No. 2015-210749 特開平１１−２４３４８１号公報JP 11-243481 A

しかしながら、従来技術では、ユーザーが資料を写真として保存するために撮影した場合も、文書として保存するために撮影した場合と同様に、撮影した画像が文書データとして画像補正されてしまい、ユーザーの撮影目的に沿った画像処理ができなかったという問題があった。 However, in the prior art, when a user takes a picture to save the document as a picture, the shot picture is corrected as document data in the same manner as when the picture is taken to save as a document. There was a problem that image processing according to the purpose could not be performed.

本発明は上記課題に鑑みてなされたものであり、撮影した画像をユーザーの撮影目的に沿って文書又は写真として自動的に画像処理することができる技術を提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a technique capable of automatically processing a photographed image as a document or a photograph in accordance with a photographing purpose of a user.

本発明の画像処理装置は、カメラによって同一の原稿を複数回異なる方向から撮影した複数枚の画像データを取得する画像データ取得部と、前記画像データ取得部により取得された前記複数枚の画像データに基づいて、前記複数枚の画像データの中で対象とする１枚の対象画像データの撮影角度を推定する撮影角度推定部と、前記撮影角度推定部によって推定された前記撮影角度が特定角度内である場合に限って、前記対象画像データから原稿領域画像を抽出し、前記原稿領域画像の台形補正を行う補正処理部と、前記補正処理部によって補正された前記対象画像データを出力すると共に、前記撮影角度推定部によって推定された前記撮影角度が特定角度外である場合に、前記補正処理部による補正を実行することなく前記対象画像データを出力する画像出力部とを備えたことを特徴とする。
また、前記撮影角度推定部は、前記複数枚の画像データに基づいて前記カメラのキャリブレーションを行うことで、前記対象画像データの撮影位置を推定し、推定した前記撮影位置に基づいて前記対象画像データの前記撮影角度を推定してもよい。
また、前記補正処理部は、前記撮影角度推定部による前記キャリブレーションを行うことで取得される、前記カメラの歪み係数を用いて、前記対象画像データの歪みを除去する歪み除去処理部を有してもよい。
また、前記対象画像データは、前記カメラによる前記複数回の撮影のうち、１回目に撮影した画像データであってもよい。
また、前記特定角度は、３０°〜８５°又は−３０°〜−８５°であってもよい。 The image processing apparatus according to the present invention includes an image data acquisition unit that acquires a plurality of image data obtained by photographing the same document from a plurality of different directions by a camera, and the plurality of image data acquired by the image data acquisition unit. A shooting angle estimation unit that estimates a shooting angle of one target image data to be processed among the plurality of pieces of image data, and the shooting angle estimated by the shooting angle estimation unit is within a specific angle. Only when the document area image is extracted from the target image data, the keystone correction of the document area image is corrected, and the target image data corrected by the correction processing section is output. When the shooting angle estimated by the shooting angle estimation unit is outside a specific angle, the target image data is stored without performing correction by the correction processing unit. Characterized by comprising an image output section for force.
The shooting angle estimation unit estimates the shooting position of the target image data by performing calibration of the camera based on the plurality of pieces of image data, and the target image based on the estimated shooting position. The shooting angle of the data may be estimated.
The correction processing unit includes a distortion removal processing unit that removes distortion of the target image data using a distortion coefficient of the camera acquired by performing the calibration by the imaging angle estimation unit. May be.
Further, the target image data may be image data captured for the first time among the plurality of times of imaging by the camera.
The specific angle may be 30 ° to 85 ° or −30 ° to −85 °.

本発明によれば、撮影した画像をユーザーの撮影目的に沿って文書又は写真として自動的に画像処理することができる。 According to the present invention, a photographed image can be automatically processed as a document or a photograph in accordance with the photographing purpose of the user.

本発明に係る実施形態の画像処理システムの概略構成を示す機能ブロック図である。1 is a functional block diagram illustrating a schematic configuration of an image processing system according to an embodiment of the present invention. 図１に示すカメラの原稿に対する撮影角度を示した図である。FIG. 2 is a diagram illustrating a shooting angle with respect to a document of the camera illustrated in FIG. 1. 図１に示す画像処理制御部の画像処理の流れを示したフローチャートである。2 is a flowchart showing a flow of image processing of an image processing control unit shown in FIG. 図１に示す画像出力部によって出力される画像データのプレビュー画面例である。3 is an example of a preview screen of image data output by the image output unit shown in FIG. 1. 図１に示す補正処理部の補正処理の流れを示したフローチャートである。It is the flowchart which showed the flow of the correction process of the correction process part shown in FIG. 図１に示す補正処理部によって画像データが文書データとして補正される様子を示したイメージ図である。FIG. 2 is an image diagram illustrating a state in which image data is corrected as document data by a correction processing unit illustrated in FIG. 1.

以下、図を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that, in the following embodiments, the same reference numerals are given to configurations showing similar functions.

本実施の形態の画像処理システム５００は、資料等の原稿ＭＳを撮影することで原稿ＭＳの画像データを生成するカメラ２００と、カメラ２００により生成された画像データの画像処理を行う画像処理装置１００とを備えている。カメラ２００と画像処理装置１００とは、ネットワーク３００を介して接続されている。 An image processing system 500 according to the present embodiment captures a document MS such as a document to generate image data of the document MS, and an image processing apparatus 100 performs image processing of the image data generated by the camera 200. And. The camera 200 and the image processing apparatus 100 are connected via a network 300.

カメラ２００は、ＣＣＤカメラやＣＭＯＳカメラ等の固体撮像素子で構成されたカメラであり、カメラ機能を備えたスマートフォンやタブレット端末等であってもよい。カメラ２００は、Ｗｉ-Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）による無線通信を行い、ネットワーク３００を介して画像処理装置１００と各種データを送受信する機能を有する。 The camera 200 is a camera configured by a solid-state imaging device such as a CCD camera or a CMOS camera, and may be a smartphone or a tablet terminal having a camera function. The camera 200 has a function of performing wireless communication using Wi-Fi (registered trademark) or Bluetooth (registered trademark) and transmitting / receiving various data to / from the image processing apparatus 100 via the network 300.

ユーザーは、会議等で配布された資料等を原稿ＭＳとして、カメラ２００で複数回それぞれ異なる方向から撮影する。カメラ２００は、原稿ＭＳを撮影すると、撮影によって生成した画像データを撮影順にネットワーク３００経由で画像処理装置１００に送信する。 The user uses the camera 200 to shoot a document distributed from a meeting or the like as a document MS from a plurality of different directions. When the camera 200 captures the document MS, the camera 200 transmits the image data generated by the capture to the image processing apparatus 100 via the network 300 in the capturing order.

画像処理装置１００は、パーソナルコンピューター、プリンター、複合機等の電子機器であり、図１を参照すると、画像処理制御部１と、通信部２と、記憶部３と、操作表示部４と、印刷部５とを備えている。画像処理制御部１と、通信部２と、記憶部３と、操作表示部４と、印刷部５とは、システムバス６によって接続されている。なお、この他にも、画像処理装置１００に原稿を読み取るスキャナーや、ファクシミリデータを送受信するファクシミリ送受信部が設けられてもよい。 The image processing apparatus 100 is an electronic device such as a personal computer, a printer, or a multifunction peripheral. Referring to FIG. 1, the image processing control unit 1, the communication unit 2, the storage unit 3, the operation display unit 4, and the printing Part 5. The image processing control unit 1, the communication unit 2, the storage unit 3, the operation display unit 4, and the printing unit 5 are connected by a system bus 6. In addition, the image processing apparatus 100 may be provided with a scanner for reading a document and a facsimile transmission / reception unit for transmitting / receiving facsimile data.

通信部２は、Ｗｉ-Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）による無線通信を行って、カメラ２００と各種データを送受信する機能を有する。 The communication unit 2 has a function of performing wireless communication using Wi-Fi (registered trademark) or Bluetooth (registered trademark) to transmit / receive various data to / from the camera 200.

記憶部３は、半導体メモリーやＨＤＤ（Hard Disk Drive）等の記憶手段である。記憶部３には、光学文字認識に用いるための文字認識用データ３１が記憶されている。文字認識用データ３１は、文字画像パターンとテキストデータとが対応付けられて登録されている。また、記憶部３には、通信部２がカメラ２００から受信した画像データが記憶される。 The storage unit 3 is a storage unit such as a semiconductor memory or an HDD (Hard Disk Drive). The storage unit 3 stores character recognition data 31 for use in optical character recognition. The character recognition data 31 is registered in association with a character image pattern and text data. The storage unit 3 stores image data received from the camera 200 by the communication unit 2.

操作表示部４は、各種情報を表示する液晶ディスプレイ等の表示部と、ユーザーからの指示入力を受け付ける操作キー等の入力部とを備えたユーザーインターフェイスである。表示部は、タッチパネルであってもよく、表示手段及び入力手段として機能してもよい。 The operation display unit 4 is a user interface including a display unit such as a liquid crystal display for displaying various information and an input unit such as operation keys for receiving an instruction input from a user. The display unit may be a touch panel and may function as a display unit and an input unit.

印刷部５は、画像データを印刷する印刷手段である。印刷部５は、例えば、画像出力部１４により出力された画像データに基づき感光体ドラムの表面に潜像を形成し、トナーによってその潜像をトナー像とする画像形成を行い、その感光体ドラムから記録紙にトナー像を転写させ、そのトナー像を記録紙に定着させて排紙する。 The printing unit 5 is a printing unit that prints image data. For example, the printing unit 5 forms a latent image on the surface of the photosensitive drum based on the image data output from the image output unit 14, performs image formation using the latent image as a toner image with toner, and the photosensitive drum. The toner image is transferred from the recording paper to the recording paper, and the toner image is fixed on the recording paper and discharged.

画像処理制御部１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備えたマイクロコンピューター等の情報処理部である。画像処理制御部１のＲＯＭには、画像処理装置１００の動作制御を行うための制御プログラムが記憶されている。画像処理制御部１は、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、装置全体の制御を行う。 The image processing control unit 1 is an information processing unit such as a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory). A control program for controlling the operation of the image processing apparatus 100 is stored in the ROM of the image processing control unit 1. The image processing control unit 1 reads out a control program stored in the ROM and develops the control program in the RAM, thereby controlling the entire apparatus.

また、画像処理制御部１は、画像データ取得部１１、撮影角度推定部１２、撮影目的判断部１３、画像出力部１４、補正処理部１５として機能する。 In addition, the image processing control unit 1 functions as an image data acquisition unit 11, a shooting angle estimation unit 12, a shooting purpose determination unit 13, an image output unit 14, and a correction processing unit 15.

画像データ取得部１１は、通信部２を介して、カメラ２００により撮影された複数枚の画像データを取得する機能を有する。通信部２がカメラ２００から受信した画像データの枚数が予め決められた特定枚数（複数枚）になるまで、画像データ取得部１１によって画像データは記憶部３に記憶される。画像データ取得部１１は、通信部２によって受信された画像データの枚数が複数枚になると、記憶部３から複数枚の画像データを取得する。なお、予めカメラ２００によって原稿ＭＳを複数回異なる方向から撮影した写真をそれぞれ印刷したものを、撮影順に原稿読取部にスキャンさせ、画像データ取得部１１は、スキャンによってそれぞれ生成された画像データを上記の複数枚の画像データとして取得してもよい。 The image data acquisition unit 11 has a function of acquiring a plurality of image data captured by the camera 200 via the communication unit 2. The image data acquisition unit 11 stores the image data in the storage unit 3 until the number of image data received by the communication unit 2 from the camera 200 reaches a predetermined number (a plurality). The image data acquisition unit 11 acquires a plurality of pieces of image data from the storage unit 3 when the number of image data received by the communication unit 2 is plural. In addition, the document reading unit scans, in advance, a photograph in which a photograph of the document MS taken a plurality of times from different directions by the camera 200 is printed, and the image data acquisition unit 11 reads the image data generated by the scan. May be acquired as a plurality of image data.

撮影角度推定部１２は、画像データ取得部１１によって取得された複数枚の画像データに基づいて、複数枚の画像データの中で対象とする１枚の対象画像データの撮影角度を推定する機能を有する。具体的には、撮影角度推定部１２は、画像データ取得部１１によって取得された複数枚の画像データに基づいて、公知のカメラキャリブレーションを行って、１回目に撮影した画像データのカメラ２００の撮影位置とカメラ２００の歪み係数等とを取得する。 The shooting angle estimation unit 12 has a function of estimating the shooting angle of one target image data as a target among the plurality of image data based on the plurality of image data acquired by the image data acquisition unit 11. Have. Specifically, the shooting angle estimation unit 12 performs a known camera calibration based on a plurality of pieces of image data acquired by the image data acquisition unit 11, and the camera 200 of the image data captured for the first time is used. An imaging position, a distortion coefficient of the camera 200, and the like are acquired.

例えば、撮影角度推定部１２は、画像データから原稿ＭＳにおける用紙の輪郭線を検出し、検出した輪郭線を既知のキャリブレーション用パターンとして取得して、カメラキャリブレーションを行ってもよい。なお、この場合、撮影角度推定部１２は、撮影される原稿ＭＳの用紙サイズ（例えばＡ４等）を予め取得しているものとする。また、原稿ＭＳに予め既知のキャリブレーション用パターンが印刷されていてもよい。また、原稿ＭＳの載置面に予め既知のキャリブレーション用パターンを印刷等により表示しておき、載置面のキャリブレーション用パターンと共に原稿ＭＳが撮影されるようにしてもよい。撮影角度推定部１２は、カメラキャリブレーションを行うことで、原稿ＭＳを撮影したときのカメラ２００の３次元空間上の位置を知ることができる。そのため、撮影角度推定部１２は、カメラ２００の１回目の撮影位置に基づいて、原稿ＭＳの撮影対象面（載置面）に対するカメラ２００の１回目の撮影角度を推定することができる。撮影角度推定部１２は、１回目の撮影角度を推定すると、推定した撮影角度を１回目に撮影された画像データ（対象画像データ）と共に撮影目的判断部１３に渡す。 For example, the photographing angle estimation unit 12 may detect the outline of the paper in the document MS from the image data, acquire the detected outline as a known calibration pattern, and perform camera calibration. In this case, it is assumed that the shooting angle estimation unit 12 has previously acquired the paper size (for example, A4) of the document MS to be shot. Further, a known calibration pattern may be printed on the document MS in advance. Alternatively, a known calibration pattern may be displayed in advance on the placement surface of the document MS by printing or the like, and the document MS may be photographed together with the calibration pattern on the placement surface. The shooting angle estimation unit 12 can know the position of the camera 200 in the three-dimensional space when the document MS is shot by performing camera calibration. Therefore, the shooting angle estimation unit 12 can estimate the first shooting angle of the camera 200 with respect to the shooting target surface (mounting surface) of the document MS based on the first shooting position of the camera 200. When the shooting angle estimation unit 12 estimates the first shooting angle, the shooting angle estimation unit 12 passes the estimated shooting angle to the shooting purpose determination unit 13 together with the image data (target image data) shot at the first time.

撮影目的判断部１３は、撮影角度推定部１２によって推定された対象画像データの撮影角度に基づいて、原稿ＭＳに対する撮影目的が文書であるか写真であるかを判断する機能を有する。具体的には、図２に示すように、撮影目的判断部１３は、撮影角度が原稿ＭＳの撮影対象面に対して特定角度Ａ内（３０°〜８５°又は−３０°〜−８５°）である場合に、原稿ＭＳの撮影目的を文書と判断し、特定角度Ａ外（０°〜３０°、−０°〜−３０°、８５°〜９０°及び−８５°〜−９０°のいずれか）である場合に、原稿ＭＳの撮影目的を写真と判断する。 The shooting purpose determination unit 13 has a function of determining whether the shooting purpose for the document MS is a document or a photograph based on the shooting angle of the target image data estimated by the shooting angle estimation unit 12. Specifically, as shown in FIG. 2, the shooting purpose determination unit 13 has a shooting angle within a specific angle A (30 ° to 85 ° or −30 ° to −85 °) with respect to the shooting target surface of the document MS. In this case, the photographing purpose of the document MS is determined to be a document, and is outside a specific angle A (0 ° to 30 °, −0 ° to −30 °, 85 ° to 90 °, and −85 ° to −90 °. ), The photographing purpose of the document MS is determined to be a photograph.

例えば、２回目撮影位置のカメラ２００−２のように、原稿ＭＳに対してカメラ２００−２の撮影角度が垂直（９０°）である場合は、撮影目的を写真と判断される。１回目撮影位置のカメラ２００−１のように、原稿ＭＳに対してカメラ２００−１の撮影角度が３０°〜８５°の場合は、撮影目的を文書と判断される。図示していないが、原稿ＭＳに対してカメラ２００−１の撮影角度が水平（０°、−０°）に近い場合は、文字を判読できない可能性があるため、この場合も撮影目的を写真と判断される。 For example, when the shooting angle of the camera 200-2 is perpendicular (90 °) to the document MS, like the camera 200-2 at the second shooting position, the shooting purpose is determined to be a photograph. When the shooting angle of the camera 200-1 is 30 ° to 85 ° with respect to the document MS, like the camera 200-1 at the first shooting position, the shooting purpose is determined to be a document. Although not shown in the drawing, when the shooting angle of the camera 200-1 with respect to the original MS is close to the horizontal (0 °, −0 °), there is a possibility that the characters cannot be read. It is judged.

なお、ここでは、原稿ＭＳに対する１回目の撮影にユーザーの撮影目的が最も反映されるものとして、カメラ２００による１回目の撮影角度を撮影目的の判断基準としている。そのため、原稿ＭＳに対する複数回の撮影のうち、１回目の撮影位置のカメラ２００−１における撮影角度が特定角度Ａ内の場合、２回目の撮影位置のカメラ２００−２における撮影角度が特定角度Ａ外となっても、撮影目的判断部１３は、撮影目的を文書と判断する。反対に、１回目の撮影位置がカメラ２００−２の位置である場合には、１回目の撮影角度が特定角度Ａ外となるので、カメラ２００の２回目以降の撮影角度に関係なく、撮影目的判断部１３は、撮影目的を写真と判断する。なお、２回目以降の撮影を行っているのは、上記の撮影角度推定部１２におけるカメラキャリブレーションに複数枚の画像データが必要だからである。そのため、画像データ取得部１１に取得させる画像データの枚数も、撮影角度推定部１２によるカメラキャリブレーションの精度に応じて決定すればよい。 Here, assuming that the user's shooting purpose is most reflected in the first shooting of the document MS, the first shooting angle by the camera 200 is used as a criterion for the shooting purpose. Therefore, when the shooting angle of the camera 200-1 at the first shooting position is within the specific angle A among the multiple shots of the document MS, the shooting angle of the camera 200-2 at the second shooting position is the specific angle A. Even if it is outside, the shooting purpose determination unit 13 determines that the shooting purpose is a document. On the other hand, when the first shooting position is the position of the camera 200-2, the first shooting angle is outside the specific angle A, so the shooting purpose is independent of the second and subsequent shooting angles of the camera 200. The determination unit 13 determines that the photographing purpose is a photograph. The second and subsequent shootings are performed because a plurality of pieces of image data are necessary for camera calibration in the shooting angle estimation unit 12 described above. Therefore, the number of image data to be acquired by the image data acquisition unit 11 may be determined according to the accuracy of camera calibration by the shooting angle estimation unit 12.

撮影目的判断部１３は、１回目に撮影された画像データを画像出力部１４に渡すと共に、撮影目的を文書と判断した場合には、１回目に撮影された画像データを文書データとして補正させるため補正処理部１５にも渡す。撮影目的判断部１３は撮影目的を写真と判断した場合には、１回目に撮影された画像データを補正処理部１５には渡さず、画像出力部１４のみに出力する。 The shooting purpose determination unit 13 passes the first shot image data to the image output unit 14 and corrects the first shot image data as document data when the shooting purpose is determined to be a document. It is also passed to the correction processing unit 15. When the photographing purpose determining unit 13 determines that the photographing purpose is a photograph, the image data captured at the first time is not passed to the correction processing unit 15 and is output only to the image output unit 14.

補正処理部１５は、１回目に撮影された画像データを補正前の画像データ４００（図６を参照）として取得し、文書データとして補正する機能を有する。具体的には、補正処理部１５は、歪み除去処理部１５１と、文書領域抽出部１５２と、台形補正部１５３と、領域判別部１５４と、マスク画像生成部１５５と、編集可能領域算出部１５６と、配置部１５７とを有している。 The correction processing unit 15 has a function of acquiring the image data captured for the first time as the image data 400 before correction (see FIG. 6) and correcting it as document data. Specifically, the correction processing unit 15 includes a distortion removal processing unit 151, a document region extraction unit 152, a trapezoid correction unit 153, a region determination unit 154, a mask image generation unit 155, and an editable region calculation unit 156. And an arrangement portion 157.

歪み除去処理部１５１は、撮影角度推定部１２によるカメラキャリブレーションで取得されたカメラ２００の歪み係数を用いて、１回目に撮影された画像データ（図６に示す補正前の画像データ４００）に対して歪み除去処理を行う機能を有する。カメラキャリブレーションによって取得される歪み係数は、カメラ２００のレンズ特性の歪み係数である。そのため、歪み除去処理部１５１は、カメラキャリブレーションで取得された歪み係数を用いて、１回目に撮影された画像データにおける湾曲等の歪みを精度良く除去することができる。 The distortion removal processing unit 151 uses the distortion coefficient of the camera 200 acquired by the camera calibration by the shooting angle estimation unit 12 to the first image data (image data 400 before correction shown in FIG. 6). It has a function of performing distortion removal processing on the image. The distortion coefficient acquired by camera calibration is a distortion coefficient of the lens characteristics of the camera 200. Therefore, the distortion removal processing unit 151 can accurately remove distortion such as curvature in the image data captured for the first time by using the distortion coefficient acquired by camera calibration.

文書領域抽出部１５２は、歪み除去処理部１５１によって歪み除去された画像データ４０１から文書領域として原稿ＭＳを示す原稿領域画像４０２を抽出する機能を有する。 The document area extraction unit 152 has a function of extracting a document area image 402 indicating the document MS as a document area from the image data 401 from which distortion is removed by the distortion removal processing unit 151.

台形補正部１５３は、文書領域抽出部１５２によって抽出された原稿領域画像４０２の台形歪み等を補正する機能を有する。カメラ２００によって撮影されることで、原稿領域画像４０２は台形になる等少なからず歪んでいる場合が多い。台形補正部１５３は、公知の台形歪み補正技術等により、台形の原稿領域画像４０２を矩形に補正する。 The trapezoid correction unit 153 has a function of correcting trapezoidal distortion and the like of the document area image 402 extracted by the document area extraction unit 152. As a result of being photographed by the camera 200, the document area image 402 becomes a trapezoid, and is often distorted. The trapezoidal correction unit 153 corrects the trapezoidal document area image 402 into a rectangle by a known trapezoidal distortion correction technique or the like.

領域判別部１５４は、台形補正された原稿領域画像４０３に文字認識を行って、原稿領域画像４０３内の各文字の文字領域Ｔａを判別すると共に、画像解析によって原稿領域画像４０３内の図領域Ｚａを判別する機能を有する。例えば、領域判別部１５４は、文字認識用データ３１を参照することで、文字認識を行うことができる。また、領域判別部１５４は、原稿領域画像４０３を解析し、図と文字の大きさの違いや、輝度分布、輪郭線検出等の公知技術を用いることで、原稿領域画像４０３内に含まれる図領域Ｚａを判別することができる。なお、領域判別部１５４は、判別した図領域Ｚａに文字領域Ｔａが含まれる場合には、その文字領域Ｔａを図領域Ｚａに含めてもよい。領域判別部１５４は、歪み除去処理部１５１及び台形補正部１５３により補正された原稿領域画像４０３に対して文字認識を行うので、精度良く文字認識を行うことができる。 The area discriminating unit 154 performs character recognition on the document area image 403 that has been trapezoidally corrected, discriminates the character area Ta of each character in the original area image 403, and performs image analysis to display the figure area Za in the original area image 403. It has the function to discriminate. For example, the area determination unit 154 can perform character recognition by referring to the character recognition data 31. In addition, the area determination unit 154 analyzes the document area image 403 and uses a known technique such as a difference in size between the figure and the character, luminance distribution, contour detection, and the like to include the figure included in the document area image 403. The area Za can be determined. In addition, the area | region discrimination | determination part 154 may include the character area Ta in figure area | region Za, when the character area | region Ta is contained in the identified figure area | region Za. The area determination unit 154 performs character recognition on the document area image 403 corrected by the distortion removal processing unit 151 and the trapezoid correction unit 153, so that character recognition can be performed with high accuracy.

マスク画像生成部１５５は、領域判別部１５４により判別が行われた原稿領域画像４０３をコピーして、図領域Ｚａと、各文字領域Ｔａとのそれぞれをマスク領域Ｍａによってマスクしたマスク画像４０４を生成する。また、マスク画像生成部１５５は、生成したマスク画像４０４のサイズを予め設定されている出力画像サイズＳｚに一致するように調整する。出力画像サイズＳｚは、画像出力部１４によって出力される画像データのサイズである。 The mask image generation unit 155 copies the document area image 403 determined by the area determination unit 154, and generates a mask image 404 in which each of the figure area Za and each character area Ta is masked by the mask area Ma. To do. Further, the mask image generation unit 155 adjusts the size of the generated mask image 404 so as to match the preset output image size Sz. The output image size Sz is the size of the image data output by the image output unit 14.

編集可能領域算出部１５６は、出力画像サイズＳｚにサイズ調整されたマスク画像４０５内の編集可能領域を算出する機能を有する。 The editable area calculation unit 156 has a function of calculating an editable area in the mask image 405 that has been adjusted to the output image size Sz.

配置部１５７は、編集可能領域内のマスク領域Ｍａの識別番号に基づいて、コピー元の原稿領域画像４０３内の対応する図領域Ｚａ及び文字領域Ｔａを特定する。そして、配置部１５７は、コピー元の原稿領域画像４０３から対応する図領域Ｚａを抽出して、マスク領域Ｍａのサイズに合わせて大きさを変形した上で、マスク画像４０５内の対応するマスク領域Ｍａに配置する。また、配置部１５７は、コピー元の原稿領域画像４０３の文字領域に対する文字認識で取得されたテキストデータを、対応するマスク領域Ｍａのサイズに合わせて変形した上でマスク領域Ｍａに配置する。配置部１５７は、マスク画像４０５に図領域Ｚａと文字領域Ｔａに対応するテキストデータとを配置し終えると、補正後の画像データ４０７として画像出力部１４に出力する。 The arrangement unit 157 specifies the corresponding figure area Za and character area Ta in the copy source document area image 403 based on the identification number of the mask area Ma in the editable area. Then, the placement unit 157 extracts the corresponding figure area Za from the copy source document area image 403, changes the size in accordance with the size of the mask area Ma, and then the corresponding mask area in the mask image 405. Place in Ma. Further, the arrangement unit 157 arranges the text data acquired by the character recognition for the character area of the original document area image 403 as a copy in accordance with the size of the corresponding mask area Ma and arranges the text data in the mask area Ma. When the placement unit 157 finishes placing the drawing region Za and the text data corresponding to the character region Ta on the mask image 405, the placement unit 157 outputs the corrected image data 407 to the image output unit 14.

画像出力部１４は、補正前の画像データ４００又は／及び補正後の画像データ４０７のプレビュー画面を操作表示部４に表示させると共に、画像データの出力方法をユーザーに選択させ、ユーザーによって選択された出力方法で画像データを出力する機能を有する。 The image output unit 14 causes the operation display unit 4 to display a preview screen of the image data 400 before correction and / or the image data 407 after correction on the operation display unit 4, and causes the user to select an output method of the image data. It has a function of outputting image data by an output method.

次に、図３を参照して、画像処理制御部１の画像処理動作について詳細に説明する。 Next, the image processing operation of the image processing control unit 1 will be described in detail with reference to FIG.

ユーザーがカメラ２００により原稿ＭＳを複数回異なる方向から撮影すると、カメラ２００により生成された画像データがネットワーク３００を介して情報処理装置に送信される。情報処理装置の画像データ取得部１１が通信部２を介してカメラ２００から複数枚の画像データを取得すると（ステップｓ１１）、撮影角度推定部１２は、複数枚の画像データに基づいてカメラキャリブレーションを実行する（ステップｓ１２）。カメラキャリブレーションによって、撮影角度推定部１２は、複数回異なる位置から撮影された原稿ＭＳに対するカメラ２００のそれぞれの撮影位置とカメラ２００の歪み係数等とを取得することができる。 When the user photographs the original MS a plurality of times from different directions with the camera 200, the image data generated by the camera 200 is transmitted to the information processing apparatus via the network 300. When the image data acquisition unit 11 of the information processing apparatus acquires a plurality of pieces of image data from the camera 200 via the communication unit 2 (step s11), the shooting angle estimation unit 12 performs camera calibration based on the plurality of pieces of image data. Is executed (step s12). By the camera calibration, the shooting angle estimation unit 12 can acquire each shooting position of the camera 200 with respect to the document MS shot from different positions a plurality of times, a distortion coefficient of the camera 200, and the like.

つづいて、撮影角度推定部１２は、カメラキャリブレーションによって判明したカメラ２００の１回目の撮影位置に基づいて、原稿ＭＳに対する１回目の撮影角度を推定する（ステップｓ１３）。 Subsequently, the shooting angle estimation unit 12 estimates the first shooting angle with respect to the document MS based on the first shooting position of the camera 200 determined by the camera calibration (step s13).

つづいて、撮影目的判断部１３は、推定された撮影角度が図２に示す特定角度Ａ内であるか否かを判断する（ステップｓ１４）。撮影角度が特定角度Ａ内である場合には（ステップｓ１４でＹｅｓ）、撮影目的判断部１３は、撮影目的を文書と判断し（ステップｓ１５）、１回目に撮影された画像データを補正処理部１５と画像出力部１４にそれぞれ渡す。 Subsequently, the shooting purpose determining unit 13 determines whether or not the estimated shooting angle is within the specific angle A shown in FIG. 2 (step s14). If the shooting angle is within the specific angle A (Yes in step s14), the shooting purpose determination unit 13 determines that the shooting purpose is a document (step s15), and corrects the image data captured for the first time. 15 and the image output unit 14.

つづいて、補正処理部１５は、撮影目的判断部１３から取得した画像データ（補正前の画像データ４００）を文書データとして補正する（ステップｓ１６）。なお、補正処理部１５の詳細な補正処理の流れについては後述する。 Subsequently, the correction processing unit 15 corrects the image data (image data 400 before correction) acquired from the photographing purpose determination unit 13 as document data (step s16). The detailed correction processing flow of the correction processing unit 15 will be described later.

一方、撮影角度が特定角度Ａ外である場合（ステップｓ１４でＮｏ）、撮影目的判断部１３は、撮影目的を写真と判断し（ステップｓ１７）、１回目に撮影された画像データ（補正前の画像データ４００）を補正処理部１５には渡さずに画像出力部１４のみに渡す。文書データとして補正不要だからである。 On the other hand, when the shooting angle is outside the specific angle A (No in step s14), the shooting purpose determination unit 13 determines that the shooting purpose is a photograph (step s17), and the image data captured before the first time (before correction) The image data 400) is passed only to the image output unit 14 without being passed to the correction processing unit 15. This is because no correction is required as document data.

つづいて、画像出力部１４は、出力する画像データを操作表示部４にプレビュー表示させる（ステップｓ１８）。撮影目的判断部１３が撮影目的を文書と判断した場合、図５に示すように、プレビュー画面Ｇ４０には、補正前の画像データ４００と補正処理部１５による補正後の画像データ４０７とが並んで表示される。ユーザーに補正結果を確認しやすく提示するためである。なお、撮影目的判断部１３が撮影目的を写真と判断した場合、プレビュー画面Ｇ４０には、補正前の画像データ４００のみが表示される。 Subsequently, the image output unit 14 displays the output image data on the operation display unit 4 as a preview (step s18). When the shooting purpose determination unit 13 determines that the shooting purpose is a document, as shown in FIG. 5, the image data 400 before correction and the image data 407 corrected by the correction processing unit 15 are arranged on the preview screen G40. Is displayed. This is to present the correction result to the user in an easy-to-confirm manner. When the shooting purpose determination unit 13 determines that the shooting purpose is a photograph, only the image data 400 before correction is displayed on the preview screen G40.

プレビュー画面Ｇ４０には、画像データの出力方法を指定するボタンとして、印刷を指示する印刷ボタンＢ４１、メール送信を指示するメール送信ボタンＢ４２、及び記憶部３内に設けられた特定の記憶領域への保存を指示するＢＯＸ保存ボタンＢ４３が設けられている。ユーザーは、操作表示部４を介していずれかのボタンＢ４１、Ｂ４２、Ｂ４３を操作することで、印刷、メール送信、ＢＯＸ保存から出力方法を指定することができる。また、プレビュー画面Ｇ４０に表示された補正前の画像データ４００と補正後の画像データ４０７のいずれを出力対象とするかユーザーが選択できるようにしてもよい。 On the preview screen G40, as buttons for designating an image data output method, a print button B41 for instructing printing, a mail transmission button B42 for instructing mail transmission, and a specific storage area provided in the storage unit 3 are displayed. A BOX save button B43 for instructing saving is provided. The user can designate an output method from printing, mail transmission, and BOX storage by operating any one of the buttons B41, B42, and B43 via the operation display unit 4. Further, the user may be able to select which of the uncorrected image data 400 and the corrected image data 407 displayed on the preview screen G40 is to be output.

つづいて、画像出力部１４は、ユーザーによって指定された出力方法で画像データを出力し（ステップｓ１９）、本処理を終了する。これにより、ユーザーの撮影目的に沿って画像データを文書又は写真として自動的に画像処理して、印刷、メール送信又はボックス保存することができる。 Subsequently, the image output unit 14 outputs the image data by the output method designated by the user (step s19), and ends this process. Accordingly, the image data can be automatically processed as a document or a photograph in accordance with the user's photographing purpose, and can be printed, sent by mail, or stored in a box.

次に、図５及び図６を参照して、補正処理部１５が１回目に撮影された画像データ（補正前の画像データ４００）を文書データとして補正する処理の流れを詳細に説明する。 Next, with reference to FIG. 5 and FIG. 6, the flow of processing in which the correction processing unit 15 corrects image data (image data 400 before correction) taken first time as document data will be described in detail.

まず、補正処理部１５の歪み除去処理部１５１は、１回目に撮影された画像データを補正前の画像データ４００として取得し、撮影角度推定部１２におけるカメラキャリブレーションで取得されたカメラ２００の歪み係数を用いて、補正前の画像データ４００の歪み除去を行う（ステップｓ１６１）。これにより、画像データ４００からカメラ２００のレンズ特性による歪みが除去される。なお、歪み除去処理部１５１は、撮影目的を文書と判断された場合に限らず、撮影目的を写真と判断された場合に、１回目に撮影された画像データに対する歪み除去処理を行ってもよい。歪み除去処理は、文書データとしての補正だけでなく、写真データとしての補正としても効果的だからである。 First, the distortion removal processing unit 151 of the correction processing unit 15 acquires the image data captured for the first time as the image data 400 before correction, and the distortion of the camera 200 acquired by camera calibration in the shooting angle estimation unit 12. The distortion is removed from the image data 400 before correction using the coefficient (step s161). As a result, distortion due to the lens characteristics of the camera 200 is removed from the image data 400. The distortion removal processing unit 151 is not limited to the case where the shooting purpose is determined to be a document, and may perform the distortion removal process on the first image data shot when the shooting purpose is determined to be a photograph. . This is because the distortion removal processing is effective not only as correction as document data but also as correction as photo data.

つづいて、文書領域抽出部１５２は、歪み除去された画像データ４０１から原稿ＭＳを示す原稿領域画像４０２を抽出する（ステップｓ１６２）。原稿領域画像４０２は、原稿ＭＳの用紙の輪郭線で囲まれた、原稿ＭＳ内の文字、図及び背景を内包した領域の画像である。文書領域抽出部１５２は、歪み除去された画像データ４０１から輪郭線（エッジ）を検出して、輪郭線上の１つの点Ｐを始点として輪郭線上を探索する。そして、文書領域抽出部１５２は、探索の結果、探索の始点と終点が同一であり、外周が一定の距離以上ある矩形の輪郭線を検出した場合に、この輪郭線により囲まれる閉塞した領域を画像データ４０１から切り出して、原稿領域画像４０２として抽出する。これにより、歪み除去された画像データ４０１から背景領域を除いて、原稿領域画像４０２のみが抽出される。 Subsequently, the document area extraction unit 152 extracts a document area image 402 indicating the document MS from the image data 401 from which distortion has been removed (step s162). The document area image 402 is an image of an area including characters, drawings, and backgrounds in the document MS surrounded by the outline of the sheet of the document MS. The document area extraction unit 152 detects a contour line (edge) from the image data 401 from which distortion has been removed, and searches the contour line starting from one point P on the contour line. Then, as a result of the search, when the document area extraction unit 152 detects a rectangular outline whose search start point and end point are the same and the outer circumference is a certain distance or longer, the document area extraction unit 152 detects a closed area surrounded by the outline. It is cut out from the image data 401 and extracted as a document area image 402. Thus, only the document area image 402 is extracted from the image data 401 from which distortion has been removed, excluding the background area.

つづいて、台形補正部１５３が、抽出された原稿領域画像４０２の台形補正を行う（ステップｓ１６３）。つづいて、領域判別部１５４は、台形補正された原稿領域画像４０３に文字認識を行い（ステップｓ１６４）、原稿領域画像４０３の各文字の文字領域Ｔａを判別すると共に画像解析により図領域Ｚａを判別する（ステップｓ１６５）。 Subsequently, the keystone correction unit 153 performs keystone correction of the extracted document area image 402 (step s163). Subsequently, the area determination unit 154 performs character recognition on the keystone corrected original area image 403 (step s164), determines the character area Ta of each character in the original area image 403, and determines the figure area Za by image analysis. (Step s165).

つづいて、マスク画像生成部１５５は、領域判別部１５４によって判別した図領域Ｚａと各文字領域Ｔａのそれぞれをマスク領域Ｍａでマスクしたマスク画像４０４を生成する（ステップｓ１６６）。 Subsequently, the mask image generation unit 155 generates a mask image 404 obtained by masking each of the figure region Za and each character region Ta determined by the region determination unit 154 with the mask region Ma (step s166).

マスク領域Ｍａは、例えば黒のベタ塗りで矩形状をしており、原稿領域画像４０３内の図領域Ｚａと各文字領域Ｔａのそれぞれの大きさに合わせて生成される。また、マスク領域Ｍａのそれぞれには、マスク画像生成部１５５により識別番号（例えば、００１、００２、００３、・・・等）の付与等によるラベリングが行われ、コピー元の原稿領域画像４０３内の図領域Ｚａ及び各文字領域Ｔａと対応付けられている。 The mask area Ma has a rectangular shape with, for example, black solid painting, and is generated in accordance with the size of each of the figure area Za and each character area Ta in the document area image 403. Each of the mask areas Ma is labeled by an identification number (for example, 001, 002, 003,...) By the mask image generation unit 155, and the like in the copy source document area image 403. It is associated with the figure area Za and each character area Ta.

つづいて、マスク画像生成部１５５は、マスク画像４０４のサイズ（縦横比）を予め設定されている出力画像サイズＳｚに一致するように変形させる（ステップｓ１６７）。例えば、マスク画像生成部１５５は、マスク画像４０４のサイズと出力画像サイズＳｚを比較し、サイズが異なっている場合には、比率に基づいてマスク画像４０４のサイズを出力画像サイズＳｚに一致させるように変更する。 Subsequently, the mask image generation unit 155 deforms the size (aspect ratio) of the mask image 404 so as to match the preset output image size Sz (step s167). For example, the mask image generation unit 155 compares the size of the mask image 404 with the output image size Sz. If the sizes are different, the mask image generation unit 155 matches the size of the mask image 404 with the output image size Sz based on the ratio. Change to

つづいて、編集可能領域算出部１５６は、マスク画像４０５内の編集可能領域を算出する（ステップｓ１６８）。これにより、編集可能領域算出部１５６によって、マスク画像４０５に含まれる全てのマスク領域Ｍａを内包する最小の矩形状の枠４０６が生成され、枠４０６内が編集可能領域として決定される。 Subsequently, the editable area calculation unit 156 calculates an editable area in the mask image 405 (step s168). As a result, the editable area calculation unit 156 generates a minimum rectangular frame 406 that includes all the mask areas Ma included in the mask image 405, and the inside of the frame 406 is determined as an editable area.

つづいて、配置部１５７は、マスク画像４０５内のマスク領域Ｍａに付与された識別番号に基づいて、元の原稿領域画像４０３内の図領域Ｚａを配置する（ステップｓ１６９）。つづいて、配置部１５７は、マスク画像４０５内のマスク領域Ｍａに付与された識別番号に基づいて、領域判別部１５４による文字認識で取得された、元の原稿領域画像４０３内の文字領域Ｔａに対応するテキストデータを配置して（ステップｓ１７０）、本処理を終了する。なお、配置される図領域Ｚａ及びテキストデータは、マスク領域Ｍａのサイズに合わせて大きさが変形される。これにより、１回目に撮影された画像データ（補正前の画像データ４００）が文書データとして補正され、補正後の画像データ４０７が生成される。 Subsequently, the arrangement unit 157 arranges the figure area Za in the original document area image 403 based on the identification number assigned to the mask area Ma in the mask image 405 (step s169). Subsequently, the arrangement unit 157 applies the character region Ta in the original document region image 403 acquired by character recognition by the region determination unit 154 based on the identification number assigned to the mask region Ma in the mask image 405. Corresponding text data is arranged (step s170), and this process is terminated. It should be noted that the figure area Za and the text data to be arranged are deformed according to the size of the mask area Ma. As a result, the first image data (image data 400 before correction) captured is corrected as document data, and corrected image data 407 is generated.

このように、本実施形態の画像処理装置１００は、カメラ２００によって同一の原稿ＭＳを複数回異なる方向から撮影した複数枚の画像データを取得する画像データ取得部１１と、画像データ取得部１１により取得された複数枚の画像データに基づいて、複数枚の画像データの中で対象とする１枚の対象画像データの撮影角度を推定する撮影角度推定部１２と、撮影角度推定部１２によって推定された撮影角度が特定角度Ａ内である場合に限って、対象画像データから原稿領域画像を抽出し、原稿領域画像の台形補正を行う補正処理部１５と、補正処理部１５によって補正された対象画像データを出力すると共に、撮影角度推定部１２によって推定された撮影角度が特定角度外である場合に、補正処理部１５による補正を実行することなく対象画像データを出力する画像出力部１４とを備えたことを特徴とする。これにより、画像処理装置１００は、ユーザーが撮影した原稿の撮影角度が特定角度Ａ内であった場合に、ユーザーの撮影目的を文書とみなし、特定角度Ａ外であった場合に、ユーザーの撮影目的を写真とみなすことができる。そして、画像処理装置１００は、撮影目的が文書の場合に限って対象画像データを補正処理部１５により補正し、撮影目的が写真の場合には、補正処理部１５による補正を実行しないので、ユーザーの撮影目的に沿って文書又は写真として自動的に画像処理することができる。 As described above, the image processing apparatus 100 according to the present embodiment includes the image data acquisition unit 11 that acquires a plurality of pieces of image data obtained by photographing the same document MS a plurality of times from different directions by the camera 200, and the image data acquisition unit 11. Based on the acquired plurality of pieces of image data, the shooting angle estimator 12 that estimates the shooting angle of one piece of target image data that is a target among the plurality of pieces of image data, and the shooting angle estimator 12 are used for estimation. Only when the photographed angle is within the specific angle A, the original image is extracted from the target image data, and the correction processing unit 15 for correcting the keystone of the original region image, and the target image corrected by the correction processing unit 15 In addition to outputting data, when the shooting angle estimated by the shooting angle estimation unit 12 is outside the specific angle, the correction processing unit 15 performs correction without executing correction. Characterized by comprising an image output unit 14 for outputting image data. Thus, the image processing apparatus 100 regards the user's shooting purpose as a document when the shooting angle of the document shot by the user is within the specific angle A, and if the shooting angle is outside the specific angle A, The purpose can be regarded as a photograph. The image processing apparatus 100 corrects the target image data by the correction processing unit 15 only when the shooting purpose is a document, and does not execute correction by the correction processing unit 15 when the shooting purpose is a photograph. The image can be automatically processed as a document or a photograph in accordance with the shooting purpose.

本発明は上述した実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々様々に変更が可能であることは言うまでもない。 The present invention is not limited to the above-described embodiment, and it goes without saying that various changes can be made without departing from the spirit of the present invention.

１画像処理制御部
２通信部
３記憶部
４操作表示部
５印刷部
６システムバス
１１画像データ取得部
１２撮影角度推定部
１３撮影目的判断部
１４画像出力部
１５補正処理部
３１文字認識用データ
１００画像処理装置
１５１歪み除去処理部
１５２文書領域抽出部
１５３台形補正部
１５４領域判別部
１５５マスク画像生成部
１５６編集可能領域算出部
１５７配置部
２００、２００−１、２００−２カメラ
３００ネットワーク
４００、４０１画像データ
４０２、４０３原稿領域画像
４０４、４０５マスク画像
４０６枠
４０７補正後の画像データ
５００画像処理システム
Ａ特定角度
Ｂ４１、Ｂ４２、Ｂ４３ボタン
Ｇ４０プレビュー画面
Ｐ点
ＭＳ原稿
Ｍａマスク領域
Ｔａ文字領域
Ｚａ図領域
Ｓｚ出力画像サイズ DESCRIPTION OF SYMBOLS 1 Image processing control part 2 Communication part 3 Memory | storage part 4 Operation display part 5 Printing part 6 System bus 11 Image data acquisition part 12 Shooting angle estimation part 13 Shooting purpose judgment part 14 Image output part 15 Correction processing part 31 Character recognition data 100 Image processing apparatus 151 Distortion removal processing section 152 Document area extraction section 153 Trapezoid correction section 154 Area determination section 155 Mask image generation section 156 Editable area calculation section 157 Arrangement section 200, 200-1, 200-2 Camera 300 Network 400, 401 Image data 402, 403 Document area image 404, 405 Mask image 406 Frame 407 Corrected image data 500 Image processing system A Specific angles B41, B42, B43 Button G40 Preview screen P Point MS Document Ma Mask area Ta Character area Za Figure area Sz output image size

Claims

An image data acquisition unit for acquiring a plurality of image data obtained by photographing the same document from a plurality of different directions by a camera;
A shooting angle estimation unit that estimates a shooting angle of one piece of target image data among the plurality of pieces of image data based on the plurality of pieces of image data acquired by the image data acquisition unit;
A correction processing unit that extracts a document area image from the target image data and corrects the keystone of the document area image only when the shooting angle estimated by the shooting angle estimation unit is within a specific angle;
The target image data corrected by the correction processing unit is output, and when the shooting angle estimated by the shooting angle estimation unit is outside a specific angle, the correction processing unit performs the correction without executing the correction. An image processing apparatus comprising: an image output unit that outputs target image data.

The photographing angle estimation unit
Calibrating the camera based on the plurality of pieces of image data to estimate a shooting position of the target image data, and estimating the shooting angle of the target image data based on the estimated shooting position. The image processing apparatus according to claim 1.

The correction processing unit
The image processing apparatus according to claim 2, further comprising: a distortion removal processing unit that removes distortion of the target image data using a distortion coefficient of the camera acquired by performing the calibration by the imaging angle estimation unit. The image processing apparatus described.

The image processing apparatus according to any one of claims 1 to 3, wherein the target image data is image data captured for the first time among the plurality of times of imaging by the camera.

The image processing apparatus according to any one of claims 1 to 4, wherein the specific angle is 30 ° to 85 ° or -30 ° to -85 °.