JP2005303941A - Correction reference designation device and correction reference designation method - Google Patents

Correction reference designation device and correction reference designation method Download PDF

Info

Publication number
JP2005303941A
JP2005303941A JP2004121014A JP2004121014A JP2005303941A JP 2005303941 A JP2005303941 A JP 2005303941A JP 2004121014 A JP2004121014 A JP 2004121014A JP 2004121014 A JP2004121014 A JP 2004121014A JP 2005303941 A JP2005303941 A JP 2005303941A
Authority
JP
Japan
Prior art keywords
correction
image
rectangular
user
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004121014A
Other languages
Japanese (ja)
Inventor
Akihiko Nagasaka
明彦 長坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004121014A priority Critical patent/JP2005303941A/en
Publication of JP2005303941A publication Critical patent/JP2005303941A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To easily and efficiently designate an intended correction reference at the time of a setting operation of a correction reference required for a front photographing correction of a photographed image. <P>SOLUTION: When an outline Aa indicating a candidate (rectangular area) of a correction reference preliminarily detected from a photographed image is selected, a handle H indicating a peak of a changed object is displayed according to a user's request, and a peak to which a change is desired by a shift operation of the handle H is selected (a). According to a peak change operation, the handle H is shifted to the candidate peak of another correction reference whose peak position is the same as that of the peak selected, and the outline Aa is corrected to a new outline Ba including a peak of a shifting destination (b). The repetition of the correction operation is permitted and a rectangular area indicated by an outline Bc or the like displayed at that time is determined as a correction reference required for a front photographing correction, in the presence of an area confirming operation. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、補正基準指定装置、及び補正基準指定方法に関するものである。   The present invention relates to a correction reference specifying device and a correction reference specifying method.

近年、プレゼンテーションや会議等においては、パーソナルコンピュータにデータとして用意したドキュメントをプロジェクタによりスクリーン上に拡大投影することが行われている。また、前記ドキュメント以外にも書画原稿(新聞、雑誌の記事、プレゼン用紙等)をプロジェクタにより投影する場合には、それを専用台を備えたいわゆる書画カメラや一般的なデジタルカメラによって撮影し、撮影により取得した画像データをパーソナルコンピュータに入力したり、或いはプロジェクタに直接入力することが行われている。   In recent years, in presentations and conferences, a document prepared as data in a personal computer is enlarged and projected on a screen by a projector. In addition to the above documents, when a document manuscript (newspaper, magazine article, presentation paper, etc.) is projected by a projector, it is photographed by a so-called document camera equipped with a dedicated stand or a general digital camera. The image data obtained by the above is input to a personal computer or directly input to a projector.

ところで上記のように書画原稿を撮影するとき、書画原稿に対して正対した位置で撮影を行わないと、撮影された原稿に所謂台形歪み等の矩形歪みが生じる。その場合には、使用に先立ち、撮影した画像に対し正面撮影補正を施し矩形歪みを取り除く必要がある。   By the way, when photographing a document original as described above, if the photographing is not performed at a position facing the document original, rectangular distortion such as so-called trapezoidal distortion occurs in the photographed original. In that case, prior to use, it is necessary to correct the front image for the captured image to remove the rectangular distortion.

これに関し、例えば下記特許文献1には、支柱に支持されたカメラによって撮影した原稿等の画像に存在する台形歪みを、カメラにおける支柱に対する撮影光軸の傾き、すなわち原稿等に対する撮影光軸の傾きを検出し、検出した傾きに基づき補正する方法が記載されている。
特開2002−354331号公報(「0015」、「0016」段落参照)
In this regard, for example, in Patent Document 1 below, trapezoidal distortion present in an image of a document or the like photographed by a camera supported by a support column is assumed to be a tilt of the photographing optical axis with respect to the support column in the camera, that is, a tilt of the photographing optical axis with respect to the document or the like. Is described, and a correction method based on the detected inclination is described.
JP 2002-354331 A (see paragraphs “0015” and “0016”)

しかしながら、専用台を備えていない一般的なデジタルカメラによって原稿等を撮影する場合には、原稿等に対する撮影光軸の傾きを取得することができないため、上記方法による正面撮影補正は不可能である。また、撮影された画像に存在する矩形歪みの方向や量も毎回異なる。したがって、撮影された画像に存在する矩形歪みを取り除く正面撮影補正を行うには、予め画像内において補正の方向や度合を決定するための補正基準となる矩形領域をユーザーに指定させ、指定された補正基準に基づいて補正を行うこととなる。   However, when photographing a document or the like with a general digital camera that does not have a dedicated stand, it is impossible to obtain the inclination of the photographing optical axis with respect to the document or the like, and thus the front photographing correction by the above method is impossible. . Also, the direction and amount of rectangular distortion present in the captured image is different each time. Therefore, in order to perform front-side shooting correction that removes the rectangular distortion present in the captured image, the user specifies a rectangular area as a correction reference for determining the correction direction and degree in the image in advance. Correction is performed based on the correction reference.

しかし、係る正面撮影補正を、例えばデジタルカメラ本体で行う場合には、撮影した画像を表示するLCD画面の表示サイズが小さいため、補正基準を設定するときユーザーは、画像の一部を拡大表示させたり、必要に応じて表示部分をスクロールさせたり、画面に収まる大きさに画像を縮小表示させたりしながら、補正基準(矩形領域)を指定する必要がある。しかも、その作業は既存する操作キーを用いて行わなければならない。したがって、補正基準の指定作業が極めて煩雑にならざるを得ないという問題があった。   However, when such front-facing correction is performed, for example, on the digital camera body, the display size of the LCD screen that displays the captured image is small, so when setting the correction reference, the user enlarges a portion of the image. It is necessary to specify the correction reference (rectangular region) while scrolling the display part as necessary, or reducing the image to a size that fits on the screen. Moreover, the work must be performed using existing operation keys. Therefore, there has been a problem that the work of specifying the correction standard has to be extremely complicated.

本発明は、かかる従来の課題に鑑みてなされたものであり、撮影画像の正面撮影補正に必要な補正基準の設定作業に際し、意図する補正基準を容易かつ効率的に指定することが可能となる補正基準指定装置、及び補正基準指定方法を提供することを目的とする。   The present invention has been made in view of such a conventional problem, and it is possible to easily and efficiently specify an intended correction reference when setting a correction reference necessary for front image correction of a captured image. It is an object of the present invention to provide a correction reference specifying device and a correction reference specifying method.

前記課題を解決するため請求項1の発明にあっては、入力した画像における矩形歪の補正に要する補正基準となる矩形領域を使用者に指定させる補正基準指定装置であって、前記画像から補正基準の候補となる複数の矩形領域の角部を検出する検出手段と、この検出手段によって検出された複数の角部を座標情報として記憶する記憶手段と、前記画像を表示する表示手段と、この表示手段に、使用者による領域指定操作に伴い前記複数の角部のいずれかの組合せによって規定される矩形領域を選択候補として表示させる表示制御手段と、使用者が前記領域指定操作を行うための入力手段とを備えたものとした。   In order to solve the above-mentioned problem, the invention according to claim 1 is a correction reference designating device for allowing a user to designate a rectangular area as a correction standard required for correcting rectangular distortion in an input image, wherein the correction is performed from the image. Detection means for detecting corners of a plurality of rectangular regions that are candidates for reference, storage means for storing the plurality of corners detected by the detection means as coordinate information, display means for displaying the image, and Display control means for causing the display means to display a rectangular area defined by any combination of the plurality of corners in accordance with the area specifying operation by the user as a selection candidate, and for the user to perform the area specifying operation Input means.

かかる構成においては、領域指定操作があると、それに伴い画像内に存在する補正基準の候補となる矩形領域が自動的に表示される。したがって、補正基準とする矩形領域の角部を画面上で指定するといった作業を使用者に行わせることなく、矩形歪の補正基準となる矩形領域を使用者に指定させることができる。   In such a configuration, when an area designating operation is performed, a rectangular area that is a candidate for a correction reference existing in the image is automatically displayed. Therefore, it is possible to allow the user to designate a rectangular area as a correction reference for the rectangular distortion without causing the user to specify the corner of the rectangular area as the correction reference on the screen.

また、請求項2の発明にあっては、前記検出手段は、前記画像から複数の直線を認識し、認識した複数の直線に沿って区画される複数の矩形領域の角部を検出するものとした。   Further, in the invention of claim 2, the detecting means recognizes a plurality of straight lines from the image and detects corners of a plurality of rectangular areas partitioned along the recognized plurality of straight lines. did.

かかる構成においては、領域指定操作に伴い、矩形歪の補正により適した矩形領域を選択候補として表示させることができる。   In such a configuration, a rectangular region suitable for correcting the rectangular distortion can be displayed as a selection candidate in accordance with the region designation operation.

また、請求項3の発明にあっては、前記表示制御手段は、前記選択候補の矩形領域を前記画像に重ねて前記表示手段に表示させるとともに、使用者による領域指定操作における領域切替操作に応じ、選択候補の矩形領域を異なる角部の組合せによって規定される他の矩形領域に切り替える領域切替手段を含むものとした。   According to a third aspect of the present invention, the display control means causes the rectangular area of the selection candidate to be superimposed on the image and displayed on the display means, and according to an area switching operation in an area designation operation by a user. In addition, a region switching means for switching the rectangular region to be selected to another rectangular region defined by a combination of different corners is included.

かかる構成においては、領域切替操作が行われる毎に選択候補の矩形領域が切り替わる。   In such a configuration, the selection candidate rectangular area is switched every time the area switching operation is performed.

また、請求項4の発明にあっては、前記表示制御手段は、前記表示手段に、選択候補の矩形領域における各角部のいずれかを変更候補として識別可能に表示させるとともに、使用者による領域指定操作における頂点切替操作に応じ、変更候補の角部を他の角部に切り替える頂点切替手段と、この頂点切替手段により識別可能に表示された変更候補の角部を、使用者による領域指定操作における頂点変更操作に応じ、矩形領域における上下左右の位置が当該角部と同一である、前記複数の角部のいずれかの組合せによって規定される矩形領域であって選択候補となっていない他の矩形領域の角部に変更し、選択候補の矩形領域を修正する頂点変更手段とを含むものとした。   Further, in the invention of claim 4, the display control means causes the display means to display any one of the corners in the rectangular area of the selection candidate so as to be identifiable as a change candidate, and an area by the user In accordance with the vertex switching operation in the designation operation, the vertex switching means for switching the corner portion of the change candidate to another corner portion, and the region designation operation by the user for the corner portion of the change candidate displayed in an identifiable manner by this vertex switching means In response to the vertex change operation in, a rectangular region defined by any combination of the plurality of corners whose vertical and horizontal positions in the rectangular region are the same as the corner, and other candidates that are not selection candidates It is assumed to include a vertex changing means for changing to the corner of the rectangular area and correcting the rectangular area of the selection candidate.

かかる構成においては、使用者は、頂点切替操作と頂点変更操作とを行うだけで、選択候補となっている矩形領域を修正することができる。   In such a configuration, the user can correct the rectangular area that is the selection candidate only by performing the vertex switching operation and the vertex changing operation.

また、請求項5の発明にあっては、使用者による領域確定操作に応じ、前記表示制御手段により表示手段に表示された矩形領域を前記補正基準として決定する決定手段と、使用者が前記領域確定操作を行うための入力手段とをさらに備えたものとした。   According to the invention of claim 5, a determination unit that determines a rectangular area displayed on the display unit by the display control unit as the correction reference according to an area determination operation by the user, and the user It was further provided with an input means for performing a confirmation operation.

かかる構成においては、使用者に、補正基準とする矩形領域の選択、及び決定を一連の作業で行わせることができる。   In such a configuration, the user can be made to select and determine a rectangular area as a correction reference through a series of operations.

また、請求項6の発明にあっては、入力した画像における矩形歪を、前記決定手段により決定された補正基準に基づいて補正する補正手段を備えたものとした。   Further, the invention of claim 6 is provided with correction means for correcting the rectangular distortion in the input image based on the correction reference determined by the determination means.

かかる構成においては、使用者に指定された補正基準に基づき、直ちに撮影画像の正面撮影補正を行うことができる。   In such a configuration, it is possible to immediately correct the front image of the captured image based on the correction standard designated by the user.

また、請求項7の発明にあっては、前記補正手段により補正された補正後の画像から、補正基準となった矩形領域に相当する矩形領域を切り出す切り出し手段と、この切り出し手段により切り出された矩形領域の画像を前記表示手段に表示させる制御手段とを備えたものとした。   Further, in the invention of claim 7, a cutout unit that cuts out a rectangular region corresponding to the rectangular region that is a correction reference from the image after correction corrected by the correction unit, and the cutout unit Control means for displaying an image of a rectangular area on the display means is provided.

かかる構成においては、撮影画像の正面撮影補正後に、補正後の画像のうち重要な部分のみを自動的に表示することができる。   In such a configuration, only the important part of the corrected image can be automatically displayed after the front image correction of the captured image.

また、請求項8の発明にあっては、 被写体の画像を撮像する撮像手段を備え、前記表示手段は、その撮像手段により撮像された画像を表示し、前記検出手段は、前記撮像手段により撮像された画像から補正基準の候補となる複数の矩形領域の角部を検出するものとした。   In the invention according to claim 8, the image processing apparatus includes an imaging unit that captures an image of a subject, the display unit displays an image captured by the imaging unit, and the detection unit captures an image by the imaging unit. The corners of a plurality of rectangular areas that are candidates for correction criteria are detected from the obtained image.

かかる構成においては、撮影画像の正面撮影補正を、撮影後直ちに行うことができる。   In such a configuration, it is possible to perform frontal shooting correction of a shot image immediately after shooting.

また、請求項9の発明にあっては、入力した画像における矩形歪の補正に要する補正基準となる矩形領域を使用者に指定させる補正基準指定方法であって、入力した画像から補正基準の候補となる複数の矩形領域の角部を検出する工程と、検出した複数の角部を座標情報として記憶する工程と、使用者による領域指定操作に伴い、前記画像を表示する表示手段に、座標情報として記憶した複数の角部のいずれかの組合せによって規定される矩形領域を選択候補として表示させる工程とを含む方法とした。   According to the ninth aspect of the present invention, there is provided a correction reference designating method for allowing a user to designate a rectangular area as a correction standard required for correcting rectangular distortion in an input image, wherein the correction reference candidate is selected from the input image. The step of detecting corners of a plurality of rectangular regions, the step of storing the detected corners as coordinate information, and the display means for displaying the image in accordance with the region specifying operation by the user, the coordinate information And displaying a rectangular area defined by any combination of a plurality of corners stored as a selection candidate.

かかる方法によれば、補正基準とする矩形領域の角部を画面上で指定するといった作業を使用者に行わせることなく、矩形歪の補正基準となる矩形領域を使用者に指定させることができる。   According to this method, it is possible to allow the user to designate a rectangular area that is a correction reference for the rectangular distortion without causing the user to specify the corner of the rectangular area that is the correction reference on the screen. .

また、請求項10の発明にあっては、入力した画像における矩形歪の補正に要する補正基準となる矩形領域を使用者に指定させる補正基準指定装置が有するコンピュータを、使用者による領域指定操作に伴い、前記画像を表示する表示手段に、記憶手段に記憶されている座標情報であって前記画像から検出された補正基準の候補となる複数の矩形領域の角部を示す座標情報に基づき、いずれかの角部の組合せによって規定される矩形領域を選択候補として表示させる表示制御手段として機能させるためのプログラムとした。   In the invention of claim 10, a computer having a correction reference designating device that allows a user to designate a rectangular area that is a correction standard required for correcting rectangular distortion in an input image is used for an area designating operation by the user. Accordingly, the display means for displaying the image is coordinate information stored in the storage means, based on coordinate information indicating corners of a plurality of rectangular areas that are candidates for correction criteria detected from the image. A program for functioning as a display control means for displaying a rectangular area defined by the combination of the corners as a selection candidate is provided.

以上のように本発明にあっては、補正基準とする矩形領域の角部を画面上で指定するといった作業を使用者に行わせることなく、矩形歪の補正基準となる矩形領域を使用者に指定させることができるようにした。よって、使用者は、撮影画像の正面撮影補正に必要な補正基準の設定作業に際し、意図する補正基準を容易かつ効率的に指定することが可能となる。   As described above, according to the present invention, the rectangular region serving as the correction reference for the rectangular distortion can be provided to the user without causing the user to specify the corner of the rectangular region used as the correction reference on the screen. Enabled to be specified. Therefore, the user can easily and efficiently specify the intended correction reference when setting the correction reference necessary for front image correction of the captured image.

また、領域指定操作に伴い、矩形歪の補正により適した矩形領域を選択候補として表示させることができるため、精度の良い補正が可能となる。また、領域切替操作が行われる毎に選択候補の矩形領域が切り替わるため、補正基準を指定する際の作業性を向上させることができる。また、頂点切替操作と頂点変更操作とを行うだけで、選択候補となっている矩形領域を修正することができるため、当初は選択候補として用意されていなかった矩形領域をも、容易かつ効率的に指定することが可能となる。   In addition, a rectangular area suitable for correcting the rectangular distortion can be displayed as a selection candidate in accordance with the area specifying operation, so that accurate correction can be performed. In addition, since the selection candidate rectangular area is switched every time the area switching operation is performed, it is possible to improve workability when specifying the correction reference. In addition, since the rectangular area that is a candidate for selection can be corrected simply by performing a vertex switching operation and a vertex changing operation, a rectangular area that was not initially prepared as a candidate for selection can be easily and efficiently used. Can be specified.

また、使用者に、補正基準とする矩形領域の選択、及び決定を一連の作業で行わせたり、使用者に指定された補正基準に基づき、直ちに撮影画像の正面撮影補正を行ったり、さらには撮影画像の正面撮影補正後に、補正後の画像のうち重要な部分のみを自動的に表示することができることから、使い勝手を向上させることが可能となる。しかも、撮影画像の正面撮影補正を、撮影後直ちに行うことが可能となる。   In addition, the user can select and determine a rectangular area as a correction reference in a series of operations, or immediately perform front-side shooting correction of a captured image based on the correction reference specified by the user, Since it is possible to automatically display only the important part of the corrected image after front shot correction of the captured image, usability can be improved. In addition, it is possible to perform frontal shooting correction of a shot image immediately after shooting.

以下、本発明の一実施の形態を図にしたがって説明する。図1は、本発明に係るデジタルカメラ1を示す外観斜視図である。デジタルカメラ1は平板状の筐体であるカメラ本体2からなり、カメラ本体2の正面には撮影レンズ3が配設され、カメラ本体2の上面、右端部寄りには、電源キー4とシャッターキー5が配設されている。シャッターキー5は、その操作により記録モード時にシャッタ動作を行わせる他、各種動作モードのメニュー項目を表示されている状態では選択/実行キーとしても機能する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is an external perspective view showing a digital camera 1 according to the present invention. The digital camera 1 is composed of a camera body 2 that is a flat housing. A photographing lens 3 is disposed in front of the camera body 2, and a power key 4 and a shutter key are disposed on the upper surface of the camera body 2 near the right end. 5 is disposed. The shutter key 5 performs a shutter operation in the recording mode by the operation, and also functions as a selection / execution key when menu items of various operation modes are displayed.

また、カメラ本体2の背面には、光学ファインダ6、モード切替スイッチ7、メニュー(MENU)キー8、表示されたメニュー項目等を選択するための上下左右を指示可能なカーソルキー9、及びLCD(液晶モニタ)10が配設されている。モード切替スイッチ7は、記録(REC)モードと再生(PLAY)モードとを切り換えるためのスライドスイッチであり、メニューキー8は、記録及び再生モードの各々の下位に設けられているモードの選択や、各モードのメニュー項目等を表示させるためのものである。カーソルキー9は、表示されたメニュー項目等を移動するためのものであり、再生モードの下位モードである正面撮影補正モードでは、輪郭や頂点ハンドルの切替え操作、頂点ハンドルの移動操作等に使用される。なお、正面撮影補正モードは、撮影した画像から所謂台形歪み等の矩形歪みを取り除く正面撮影補正を行うために用意されているモードである。   Also, on the back of the camera body 2, an optical viewfinder 6, a mode changeover switch 7, a menu (MENU) key 8, cursor keys 9 for instructing up / down / left / right to select displayed menu items, and an LCD ( A liquid crystal monitor) 10 is provided. The mode change switch 7 is a slide switch for switching between the recording (REC) mode and the reproduction (PLAY) mode, and the menu key 8 is used to select a mode provided below each of the recording and reproduction modes, This is for displaying menu items of each mode. The cursor key 9 is used to move a displayed menu item or the like, and is used for a contour / vertex handle switching operation, a vertex handle moving operation, and the like in the front photographing correction mode which is a lower mode of the playback mode. The The front photographing correction mode is a mode prepared for performing front photographing correction that removes rectangular distortion such as so-called trapezoidal distortion from a photographed image.

液晶モニタ10は本発明の表示手段であって、例えばバックライト付きのカラー液晶表示パネルで構成され、記録モードによる撮影待機状態では被写体100のスルー画像をモニタ表示し、かつ再生モードでは撮影によって記録した任意の画像を表示する他、上記メニューキー8の操作により各種の設定画面等も表示する。   The liquid crystal monitor 10 is a display means of the present invention, and is constituted by a color liquid crystal display panel with a backlight, for example, and displays a through image of the subject 100 on the monitor in the shooting standby state in the recording mode and records by shooting in the playback mode. In addition to displaying an arbitrary image, various setting screens are displayed by operating the menu key 8.

図2は上記デジタルカメラ1の電気的構成を示すブロック図である。デジタルカメラ1はシステムの全体の制御を行うCPU11と、前記撮像レンズ3によって感光部に結像された被写体100の光学像に応じたアナログの撮像信号を出力する撮像素子であるCCD12を備えている。CCD12から出力されたアナログの撮像信号は信号処理部13において各種の信号処理を施され、最終的には輝度信号(Y信号)と色差信号(U信号、V信号)からなるYUVデータすなわちデジタルの画像信号として出力される。信号処理部13から出力された画像信号は、RAM(例えばDRAM)14に順次記憶されるとともに、記録モードで撮影待機状態にあるときには前記液晶モニタ10に送られスルー画像として表示される。RAM14は本発明の記憶手段であって、上記のように画像データの一時保存に用いられるとともに、CPU11の作業用メモリとしても機能する。   FIG. 2 is a block diagram showing an electrical configuration of the digital camera 1. The digital camera 1 includes a CPU 11 that controls the entire system, and a CCD 12 that is an image pickup device that outputs an analog image pickup signal corresponding to the optical image of the subject 100 formed on the photosensitive portion by the image pickup lens 3. . The analog imaging signal output from the CCD 12 is subjected to various signal processing in the signal processing unit 13, and finally YUV data consisting of a luminance signal (Y signal) and a color difference signal (U signal, V signal), that is, a digital signal. Output as an image signal. The image signal output from the signal processing unit 13 is sequentially stored in a RAM (for example, DRAM) 14 and is sent to the liquid crystal monitor 10 and displayed as a through image when in a recording standby state in a recording mode. The RAM 14 is a storage unit of the present invention, and is used for temporary storage of image data as described above, and also functions as a working memory for the CPU 11.

また、記録モードでシャッターキーが押された撮影操作時には、RAM14に記憶された1フレーム分の輝度(Y)及び色差信号(U,V)が画像処理部15へ送られ、そこでデータ圧縮が行われ、JPEG等の所定のフォーマットの画像ファイルとして画像メモリ16に記録される。画像メモリ16は、カメラ本体2に内蔵又は着脱自在なフラッシュメモリ等の不揮発性メモリ(記録媒体)である。画像メモリ16に記録された圧縮後の画像データ(画像ファイル)は再生モードで必要に応じてCPU11により読み出され、画像処理部15でいったん伸張された後、LCD10において静止画像として再生表示される。   Further, during a shooting operation in which the shutter key is pressed in the recording mode, the luminance (Y) and color difference signals (U, V) for one frame stored in the RAM 14 are sent to the image processing unit 15 where data compression is performed. It is recorded in the image memory 16 as an image file of a predetermined format such as JPEG. The image memory 16 is a non-volatile memory (recording medium) such as a flash memory that is built in or removable from the camera body 2. The compressed image data (image file) recorded in the image memory 16 is read by the CPU 11 as necessary in the reproduction mode, decompressed once by the image processing unit 15, and then reproduced and displayed as a still image on the LCD 10. .

キー入力部17は本発明の入力手段であって、前記電源キー4とシャッターキー5、モード切替スイッチ7、メニューキー8、カーソルキー9の各操作キーから構成される。キー入力部17には、CPU11から割り込み処理によってスキャン信号が逐次送られており、ユーザーによっていずれかの操作キーが操作されると、それがCPU11によって検出される。   The key input unit 17 is an input means according to the present invention, and includes the power key 4, the shutter key 5, the mode switch 7, the menu key 8, and the cursor key 9. Scan signals are sequentially sent from the CPU 11 to the key input unit 17 by interrupt processing, and when any operation key is operated by the user, the CPU 11 detects it.

CPU11は、ROM18に格納された各種プログラムに基づき、前述した各操作キーの操作に応じて上記各部を制御するとともに、前記正面撮影補正モードの設定時においては、本発明の検出手段、表示制御手段(領域切替手段、頂点切替手段、頂点変更手段、)、決定手段、補正手段、切り出し手段、制御手段として機能する。   The CPU 11 controls the above-described units in accordance with the operation of each operation key described above based on various programs stored in the ROM 18, and at the time of setting the front photographing correction mode, the detection unit and display control unit of the present invention. (Area switching means, vertex switching means, vertex changing means), functions as determination means, correction means, clipping means, and control means.

次に、以上の構成からなるデジタルカメラ1の本発明に係る動作について説明する。図3は、再生モードにおいて、画像メモリ16に記憶されている撮影画像のうちユーザーにより選択された撮影画像をLCD10に表示した状態で、ユーザーによって正面撮影補正モードが設定されたときのCPU11の処理手順を示すフローチャートである。以下の説明では、図4(a)に示した撮影画像G0がLCD10に表示されているものとする。   Next, an operation according to the present invention of the digital camera 1 having the above configuration will be described. FIG. 3 shows the processing of the CPU 11 when the front shooting correction mode is set by the user while the shooting image selected by the user out of the shooting images stored in the image memory 16 is displayed on the LCD 10 in the playback mode. It is a flowchart which shows a procedure. In the following description, it is assumed that the captured image G0 shown in FIG.

CPU11は正面撮影補正モードが設定されると、まず撮影画像G0に対して直線認識を行い、認識した複数の直線に沿って区画される複数の矩形領域の頂点(角部)を検出する(ステップS1)。図4(b)はここで検出した頂点Pa〜Pnを有する複数の矩形領域を太線(以下、輪郭線)Aで示す図である。なお、図示した輪郭線にAおいて、最外周の四角形の下辺中程からそれぞれ上方に延びる長さの異なる2本の斜め線、すなわち頂点Pi,Pjを結ぶ線と、頂点Pn,Pkを結ぶ線は、直線認識に際して誤認識された線である。   When the front photographing correction mode is set, the CPU 11 first performs straight line recognition on the photographed image G0 and detects vertices (corner portions) of a plurality of rectangular areas partitioned along the recognized plurality of straight lines (step). S1). FIG. 4B is a diagram showing a plurality of rectangular regions having the vertices Pa to Pn detected here by thick lines (hereinafter, contour lines) A. FIG. Note that, in the illustrated outline A, two oblique lines having different lengths extending upward from the middle of the lower side of the outermost quadrangle, that is, a line connecting the vertices Pi and Pj, and the vertices Pn and Pk are connected. The line is a line that has been misrecognized during straight line recognition.

次に、複数の矩形領域のうちから、所定の選定規則に従って補正基準の候補となる複数の矩形領域を選定し、それらにおける各々の頂点の位置を示す座標値からなる座標データをRAM14の所定領域に記憶する(ステップS2)。図5は、座標データ201を示す図であり、座標データ201は、上記複数の矩形領域における頂点位置(左上、右上、左下、右下)を列とし、補正基準の候補となる各々の矩形領域(Aa〜Ae)を行として配置されたテーブルデータを構成する座標値群である。ここで、本実施の形態においては、前記所定の選定規則を「検出した頂点を有する複数の矩形領域のうち、全ての矩形領域を包含する大きなものを除き、面積が大きい方から5番目まで」とすることにより、補正基準の候補とする矩形領域が制限されており、座標データ201は4列×5行の座標値群から構成される。また、選定された5つの矩形領域は、図6(a)〜(e)に輪郭Aa〜Aeとして示した5種類の領域である。また、座標値は撮影画像G0の画素を単位とする値であり、ここでは図4(b)に示したように撮影画像G0の左上が(0,0)、右下が(2304,1728)となる座標系の値である。   Next, a plurality of rectangular regions that are candidates for correction criteria are selected from a plurality of rectangular regions according to a predetermined selection rule, and coordinate data including coordinate values indicating the positions of the respective vertices in the selected rectangular regions (Step S2). FIG. 5 is a diagram showing the coordinate data 201. The coordinate data 201 has the vertex positions (upper left, upper right, lower left, lower right) in the plurality of rectangular areas as columns, and each rectangular area that is a candidate for a correction reference. It is a coordinate value group which comprises the table data arrange | positioned by making (Aa-Ae) into a line. Here, in the present embodiment, the predetermined selection rule is "from the largest area to the fifth one except for a large one including all the rectangular areas among the plurality of rectangular areas having the detected vertices" As a result, the rectangular area that is a candidate for the correction reference is limited, and the coordinate data 201 is composed of a coordinate value group of 4 columns × 5 rows. Further, the five selected rectangular regions are five types of regions shown as contours Aa to Ae in FIGS. The coordinate value is a value in units of pixels of the captured image G0. Here, as shown in FIG. 4B, the upper left of the captured image G0 is (0, 0) and the lower right is (2304, 1728). Is the value of the coordinate system.

引き続き、CPU11は、RAM14に記憶した座標データ201に基づき、複数の輪郭候補、すなわち選択候補となる矩形領域を示す輪郭をLCD10の画面上に撮影画像G0に重ねて表示させる(ステップS3)。なお、このとき図6(a)〜(e)に示したように、選択候補であるいずれかの輪郭Aa〜Aeを、先に検出した複数の矩形領域(輪郭線A)と共に表示させる。また、当初表示させる輪郭候補は、前記座標データ201(図5)における第1行目の頂点Pa〜Pdの座標値(219,734)、(2120,1001)、(68,1342)、(2077,1623)に基づく図6(a)の輪郭Aaである。また、図6では便宜上、輪郭線Aを破線で示し各輪郭Aa〜Aeを太線で示したが、実際には両者の表示色を変える等により各輪郭Aa〜Aeを輪郭線Aと識別できるようにすればよい。   Subsequently, based on the coordinate data 201 stored in the RAM 14, the CPU 11 displays a plurality of contour candidates, that is, contours indicating rectangular regions that are selection candidates, superimposed on the captured image G 0 on the screen of the LCD 10 (step S 3). At this time, as shown in FIGS. 6A to 6E, any one of the contours Aa to Ae that is a selection candidate is displayed together with the plurality of rectangular regions (contour lines A) detected earlier. Contour candidates to be initially displayed are the coordinate values (219, 734), (2120, 1001), (68, 1342), (2077) of the vertices Pa to Pd on the first row in the coordinate data 201 (FIG. 5). , 1623) is the contour Aa of FIG. 6 (a). In FIG. 6, for the sake of convenience, the outline A is indicated by a broken line and the outlines Aa to Ae are indicated by bold lines. In practice, however, the outlines Aa to Ae can be distinguished from the outline A by changing their display colors. You can do it.

以後、ユーザーのキー操作待ちの状態となり、その間にカーソルキー9の上下指示操作による輪郭候補の切り替え操作(本発明における領域切替操作)があれば(ステップS4でYES)、それに応じて座標データ201から行毎の座標値を読み出し、図6(a)〜(e)に示したように輪郭Aa〜Aeを順に切り替えて表示し、いずれかの輪郭を選択状態とする(ステップS5)。そして、いずれかの輪郭が選択された状態において、シャッターキー5の押下による輪郭の確定操作があったときには(ステップS6でNO、ステップS7でYES)、選択されている輪郭の矩形領域を補正基準として正面撮影補正を行う(ステップS8)、そして、補正後の画像から補正基準とした矩形領域に相当する矩形領域を切り出し、切り出した画像をLCD10の画面上に可能な限り拡大して表示し(ステップS9)、処理を終了する。   Thereafter, if the user enters a state waiting for a key operation, and there is a contour candidate switching operation (region switching operation in the present invention) by an up / down instruction operation of the cursor key 9 (YES in step S4), the coordinate data 201 is accordingly received. Then, the coordinate value for each row is read out, and as shown in FIGS. 6A to 6E, the contours Aa to Ae are sequentially switched and displayed, and any one of the contours is selected (step S5). In a state where any one of the contours is selected, when there is an operation for confirming the contour by pressing the shutter key 5 (NO in step S6, YES in step S7), the rectangular region of the selected contour is corrected. Then, the front photographing correction is performed (step S8), and a rectangular area corresponding to the rectangular area as a correction reference is cut out from the corrected image, and the cut-out image is enlarged and displayed on the screen of the LCD 10 as much as possible ( Step S9) and the process is terminated.

一方、いずれかの輪郭が選択された状態において、ユーザーからカーソルキー9の左右指示操作による選択中の輪郭の修正指示操作があったときには(ステップS6でYES)、以下の処理に移行する。まず、図5に示した座標データ201から、選択可能な頂点の座標値を列毎(左上、右上、左下、右下の頂点位置毎)に確認し、図7(a)に示した頂点座標データ202を作成して記憶する(ステップS10)。頂点座標データ202は、座標データ201の各列について重複した座標値を除くとともに、各列に選択状態を示すためのインデックス行を付加したデータであり、当初は各列のインデックス値に「0」(非選択)を設定する。   On the other hand, in a state where any one of the contours is selected, when the user performs a correction instruction operation for the selected contour by the left / right instruction operation of the cursor key 9 (YES in step S6), the process proceeds to the following process. First, from the coordinate data 201 shown in FIG. 5, the coordinate values of selectable vertices are confirmed for each column (upper left, upper right, lower left, lower right vertex positions), and the vertex coordinates shown in FIG. Data 202 is created and stored (step S10). The vertex coordinate data 202 is data in which duplicated coordinate values are removed for each column of the coordinate data 201 and an index row for indicating a selected state is added to each column. Initially, the index value of each column is “0”. Set (not selected).

次に、その時点で選択されている輪郭の左上隅にハンドルを表示させ、図7(b)に示したように前記頂点座標データ202の左上列のインデックス値に「1」(選択)を設定する(ステップS11)。図8(a)は、図6(a)に示した輪郭Aaが選択されていたときに上記ハンドルHを表示した状態を示す図である。そして、かかる状態において、カーソルキー9の上下指示操作によるハンドル移動操作(本発明の頂点切替操作)があれば(ステップS12でYES)、それに応じてハンドルHを輪郭Aaの他の頂点(Pb,Pc,Pd)に順に移動させ(ステップS13、図8(b)〜(d)参照)。同時に、頂点座標データ202における移動先の頂点位置に対応する列のインデックス値に「1」を設定し、かつ移動元の頂点位置に対応する列のインデックス値に「0」を設定する。例えば図8(b)の状態では、右上列のインデックス値のみが「1」に設定される。   Next, a handle is displayed at the upper left corner of the currently selected outline, and “1” (selected) is set as the index value in the upper left column of the vertex coordinate data 202 as shown in FIG. 7B. (Step S11). FIG. 8A is a diagram showing a state in which the handle H is displayed when the contour Aa shown in FIG. 6A is selected. In this state, if there is a handle movement operation (vertex switching operation of the present invention) by the up / down instruction operation of the cursor key 9 (YES in step S12), the handle H is moved to another vertex (Pb, Pc, Pd) are sequentially moved (see step S13, FIGS. 8B to 8D). At the same time, “1” is set to the index value of the column corresponding to the vertex position of the movement destination in the vertex coordinate data 202, and “0” is set to the index value of the column corresponding to the vertex position of the movement source. For example, in the state of FIG. 8B, only the index value in the upper right column is set to “1”.

また、いずれかの頂点が選択された状態において、カーソルキー9の左右指示操作による頂点変更操作があると(ステップS14でYES)、それに応じてハンドルHを移動可能な他の頂点、すなわち頂点座標データ202においてインデックス値に「1」が設定されている列の座標値群によって示される他の頂点に移動するとともに、それまで表示していた輪郭をハンドルHを移動した先の頂点を有する輪郭に修正する(ステップS15)。例えば図9(a)〜(c)に示したように、図8(a)に示した状態、すなわち輪郭Aaが選択され、かつその左上の頂点が選択されていた状態においては、ハンドルHが移動可能な他の頂点は、頂点座標データ202の左上列にある頂点Pe(346,226)と、頂点Pi(652,794)の2箇所であり(図7(b)参照)、ユーザーが頂点変更操作によりハンドルHを移動させた場合には、画面上の輪郭Aaが、図9(b)に示した輪郭Baや、図9(c)に示した輪郭Bbに修正される。   In addition, when any vertex is selected and there is a vertex changing operation by the left / right instruction operation of the cursor key 9 (YES in step S14), another vertex that can move the handle H accordingly, that is, vertex coordinates The data 202 moves to the other vertex indicated by the coordinate value group of the column in which the index value is set to “1”, and the contour that has been displayed so far becomes the contour having the vertex that the handle H is moved to. Correction is made (step S15). For example, as shown in FIGS. 9A to 9C, in the state shown in FIG. 8A, that is, in the state where the contour Aa is selected and the upper left vertex is selected, the handle H is The other movable vertices are the vertex Pe (346, 226) and the vertex Pi (652, 794) in the upper left column of the vertex coordinate data 202 (see FIG. 7B). When the handle H is moved by the change operation, the outline Aa on the screen is corrected to the outline Ba shown in FIG. 9B or the outline Bb shown in FIG.

そして、CPU11は、シャッターキー5の押下による輪郭の確定操作(本発明の領域確定操作)があるまでの間は(ステップS16でNO)、前述したハンドル移動操作または頂点変更操作に応じた処理を繰り返す。したがって、例えばユーザーが、図10(a)に示したように輪郭Aaにおける左上の頂点Paが選択されていた状態から、図10(b)に示したように、頂点変更操作によって左上の頂点Paを上方に位置する他の左上の頂点Peに変更し、さらにハンドル移動操作により図10(c)に示したようにハンドルHを新たに選択状態となった輪郭Baの右上の頂点Pbにいったん移動した後、図10(d)のように、再び頂点変更操作により右上の頂点Pbを、その上方に位置する他の右上の頂点Pfに変更すると、当初は補正基準の候補(図6参照)となっていなかった新たな矩形領域、すなわち各頂点の座標値が、図11に示した値である最大面積の矩形領域を示す輪郭Bcが画面上に表示されて選択状態となる。   The CPU 11 performs processing according to the above-described handle movement operation or vertex change operation until there is a contour determination operation (region determination operation of the present invention) by pressing the shutter key 5 (NO in step S16). repeat. Therefore, for example, from the state where the upper left vertex Pa in the contour Aa is selected as shown in FIG. 10A, the user changes the upper left vertex Pa by the vertex change operation as shown in FIG. 10B. Is changed to the other upper-left vertex Pe located above, and the handle H is once moved to the upper-right vertex Pb of the newly selected outline Ba as shown in FIG. Then, as shown in FIG. 10 (d), when the upper right vertex Pb is changed again to another upper right vertex Pf located above the upper vertex Pb by the vertex changing operation, the correction reference candidate (see FIG. 6) is initially set. A new rectangular area that has not been formed, that is, a contour Bc indicating a rectangular area having the maximum area whose coordinate value of each vertex is the value shown in FIG. 11, is displayed on the screen to be in a selected state.

しかる後、シャッターキー5の押下による輪郭の確定操作があったら(ステップS16でYES)、CPU11は、その時点で表示中の輪郭により示される矩形領域を補正基準として確定する(ステップS17)。引き続き、ここで補正基準として確定した矩形領域の輪郭(表示中の輪郭)において互いに交差する線分がないかどうかを確認し、それがなければ(ステップS18でYES)、補正基準として確定した矩形領域に基づき表示中の撮影画像G0に対する正面撮影補正を行う(ステップS19)。そして、補正後の画像から補正基準とした矩形領域に相当する矩形領域を切り出し、切り出した画像をLCD10の画面上に可能な限り拡大して表示する(ステップS20)。例えば図10(d)に示したように輪郭Bcが選択状態となっていたとき確定操作があった場合には、図12に示したような補正後の切り出し画像G1を拡大表示する。これにより処理を終了する。   Thereafter, if there is an outline determination operation by pressing the shutter key 5 (YES in step S16), the CPU 11 determines the rectangular area indicated by the currently displayed outline as a correction reference (step S17). Subsequently, it is checked whether or not there is a line segment that intersects each other in the outline of the rectangular area determined as the correction reference (contour displayed), and if there is not (YES in step S18), the rectangle determined as the correction reference. Based on the region, front photographing correction is performed on the photographed image G0 being displayed (step S19). Then, a rectangular area corresponding to the rectangular area used as a correction reference is cut out from the corrected image, and the cut-out image is enlarged and displayed on the screen of the LCD 10 as much as possible (step S20). For example, when there is a confirmation operation when the outline Bc is in the selected state as shown in FIG. 10D, the corrected cut-out image G1 as shown in FIG. 12 is enlarged and displayed. This completes the process.

一方、前述したステップS18の判別結果がNOであって、確定した矩形領域の輪郭(表示中の輪郭)において互いに交差する線分があったときには、所定のエラー表示(例えば「選択領域が正しくありません」といったメッセージの表示)を行い(ステップS21)、その時点で処理を終了する。なお、かかる事態は、ステップS2において各々の頂点を座標データ201として記憶した補正基準の候補となる複数の矩形領域が、図6(a)〜(e)に例示したものであった場合には生じないが、例えばユーザーによる前述した頂点変更操作によって、すなわち選択中のある輪郭(矩形領域)の右上の頂点が、他の候補である矩形領域の右上の頂点に変更されたとき、変更先の頂点の位置が選択中であった輪郭の右下の頂点よりも下方に位置する場合に生じることとなる。   On the other hand, if the determination result in step S18 described above is NO and there are line segments that intersect each other in the outline of the fixed rectangular area (the outline being displayed), a predetermined error display (for example, “the selected area is not correct”). Is displayed) (step S21), and the process is terminated at that time. Note that this situation occurs when the plurality of rectangular regions that are candidates for the correction reference in which the respective vertices are stored as the coordinate data 201 in step S2 are those illustrated in FIGS. 6 (a) to 6 (e). Although it does not occur, for example, when the vertex change operation by the user described above, that is, when the upper right vertex of a selected outline (rectangular area) is changed to the upper right vertex of another candidate rectangular area, the change destination This occurs when the vertex position is located below the lower right vertex of the selected outline.

以上のように本実施の形態においては、正面撮影補正モードで補正基準となる矩形領域を指定するとき、当初から補正基準の候補となっていた矩形領域すなわち輪郭Aa〜Aeの中に意図した輪郭が存在している場合、ユーザーは、輪郭候補の切り替え操作を行うだけで補正基準を容易かつ効率的に指定することができる。   As described above, in the present embodiment, when a rectangular area that is a correction reference is designated in the front-view shooting correction mode, the intended outline in the rectangular areas that are candidates for the correction reference from the beginning, that is, the outlines Aa to Ae. Is present, the user can easily and efficiently specify a correction reference simply by performing a contour candidate switching operation.

しかも、当初の補正基準の候補となっていた矩形領域(輪郭Aa〜Ae)の中に意図した輪郭が存在しない場合においても、ユーザーは、例えば意図する領域に最も近い輪郭を選択し、その輪郭のいずれかの頂点をハンドル移動操作や頂点変更操作により変更(修正)するだけで、意図した輪郭を補正基準として指定することができる。つまり補正基準の候補となっていた矩形領域を簡単な操作のみによって所望する矩形領域に変更し、それを補正基準として指定することができる。よって、本実施の形態においては、ユーザーは、正面撮影補正を行うとき、それに必要な補正基準として、自分が意図する補正基準を容易かつ効率的に指定することができる。   Moreover, even when the intended contour does not exist in the rectangular region (contours Aa to Ae) that are candidates for the initial correction reference, the user selects a contour closest to the intended region, for example, By simply changing (correcting) one of the vertices by a handle moving operation or a vertex changing operation, the intended contour can be designated as a correction reference. In other words, the rectangular area that has been a candidate for the correction reference can be changed to a desired rectangular area by only a simple operation and designated as a correction reference. Therefore, in the present embodiment, when performing the front photographing correction, the user can easily and efficiently specify the correction reference intended by the user as the correction reference necessary for the correction.

それに加え、ユーザーに指定された補正基準に基づき、直ちに撮影画像の正面撮影補正を行うことができ、さらに、正面撮影補正後には、補正基準となった領域に相当する部分、つまり補正後の画像のうち重要な部分のみを自動的に表示することができる。したがって、使い勝手が極めてよい。   In addition, based on the correction criteria specified by the user, it is possible to immediately correct the front image of the captured image, and after correcting the front image, the portion corresponding to the area that became the correction criterion, that is, the corrected image It is possible to automatically display only the important part of. Therefore, it is very easy to use.

なお、本実施の形態においては、補正基準の候補とする複数の矩形領域を、所定の選定規則に従って選定することにより、その数を制限するものを説明したが、かかる制限は行わなくともよい。例えばその場合、補正基準の候補に無用のものが含まれる確立は増えるが、その反面、補正基準の候補が増ることとなるため、ユーザーにいずれかの矩形領域を選択させる操作のみによって補正基準を指定させるようにしてもよい。また、選定規則を設ける場合、本実施の形態とは異なり、一定以下の面積の矩形領域を除く矩形領域のみを補正候補とする等、その内容は任意である。   In the present embodiment, a description has been given of a case in which the number of rectangular regions that are candidates for correction criteria is selected according to a predetermined selection rule to limit the number thereof, but such a limitation may not be performed. For example, in that case, the probability that correction criteria candidates are included is increased, but on the other hand, the number of correction criterion candidates increases. May be specified. In addition, when the selection rule is provided, unlike the present embodiment, the content of the selection rule is arbitrary, for example, only a rectangular area excluding a rectangular area having a certain area or less is set as a correction candidate.

また、本実施の形態においては、撮影画像G0に対して直線認識を行い、認識した複数の直線に沿って区画される複数の矩形領域の頂点を検出するようにしたことから、矩形歪の補正により適した矩形領域を選択候補とすることができるため、精度の良い補正が可能となる。なお、頂点の検出は、直線認識以外の他の画像認識技術、或いは複数の画像認識技術を用いて検出するようにしても構わない。   In the present embodiment, straight line recognition is performed on the captured image G0, and the vertices of a plurality of rectangular areas partitioned along the recognized plurality of straight lines are detected. A more suitable rectangular area can be selected as a selection candidate, so that accurate correction can be performed. In addition, you may make it detect the vertex using image recognition techniques other than straight line recognition, or several image recognition techniques.

また、本実施の形態では、ユーザーがハンドル移動操作や頂点変更操作によって、当初から補正基準の候補となっていた矩形領域における任意の頂点を変更(修正)する際、ハンドルHの表示によってユーザーに対象となる頂点を示すようにしたが、対象となる頂点を識別させることができれば、対象となる頂点をユーザーに示す方法は任意である。   Further, in the present embodiment, when the user changes (corrects) an arbitrary vertex in a rectangular area that has been a candidate for a correction reference from the beginning by a handle moving operation or a vertex changing operation, the handle H is displayed to the user. Although the target vertex is shown, the method of showing the target vertex to the user is arbitrary as long as the target vertex can be identified.

また、前述した正面撮影補正モードでは、最終的に、正面撮影補正後の画像から補正基準とした矩形領域に相当する矩形領域を切り出して表するようにしたが、補正後の画像をそのまま表示させてもよいし、補正後に、切り出し処理の要否をユーザーに指定させてもよい。さらに、表示した画像は、自動的に又はユーザーの指示を待ってから所定のファイル名を付与して画像メモリに16に記録させるようにしてもよい。また、正面撮影補正を行った後の画像(切り出し処理前または切り出し処理後の画像)を表示させることなく、自動的に記録させるようにしてもよい。   In the above-described front shooting correction mode, the rectangular area corresponding to the rectangular area used as the correction reference is cut out from the image after the front shooting correction, and the corrected image is displayed as it is. Alternatively, after correction, the user may specify whether or not the clipping process is necessary. Further, the displayed image may be recorded in the image memory 16 with a predetermined file name automatically or after waiting for a user instruction. Further, the image after the front photographing correction (the image before the clipping process or after the clipping process) may be automatically recorded without being displayed.

また、本実施の形態のデジタルカメラ1においては、CPU11を本発明の検出手段及び補正手段として機能させるようにしたが、例えば、前記画像処理部15に、前述した画像データの圧縮・伸張処理用の回路とは別に、画像メモリ16に一時保存されている画像データから、前述した補正基準の候補となる複数の矩形領域の頂点を検出するための専用の検出回路や、画像メモリ16に一時保存されている画像データに対する正面撮影補正を行う専用の補正回路を設けることにより、前記画像処理部15を検出手段及び補正手段として機能させるようにしても構わない。   Further, in the digital camera 1 of the present embodiment, the CPU 11 is made to function as the detection unit and the correction unit of the present invention. For example, the image processing unit 15 causes the above-described image data compression / decompression processing to be performed. In addition to the above circuit, a dedicated detection circuit for detecting the vertices of the plurality of rectangular areas that are candidates for the correction reference described above from the image data temporarily stored in the image memory 16, or temporarily stored in the image memory 16 The image processing unit 15 may function as a detection unit and a correction unit by providing a dedicated correction circuit that performs front-side shooting correction on the image data that has been processed.

また、本実施の形態のデジタルカメラ1に、画像データ等の各種データを外部機器へ転送するための出力手段(例えばUSBインターフェース)を設け、正面撮影補正モードでは、正面撮影補正を行った後の画像(切り出し処理前または切り出し処理後の画像)をプロジェクタ等へ直接出力させるようにしてもよい。   Further, the digital camera 1 of the present embodiment is provided with output means (for example, a USB interface) for transferring various data such as image data to an external device. In the front shooting correction mode, after the front shooting correction is performed. Images (images before or after the clipping process) may be directly output to a projector or the like.

また、前記デジタルカメラ1に、前述した正面撮影補正モードとは別に、撮影画像の正面撮影補正を行うときの補正基準となる矩形領域の情報を取得し、それを補正基準情報として正面撮影補正の対象となる撮影画像と対応付けて画像メモリ16に記録するモードを設けてもよく、また前述した出力手段を備えたものの場合にあっては、上記の補正基準情報を撮影画像と対応付けてプロジェクタ等へ出力するモードを設けるようにしてもよい。前者の場合には、他の機器において画像メモリ16を介して取得した画像に対する正面撮影補正を行う場合には、前記補正基準情報を使用させることにより、他の機器において適切な補正を行わせることができる。また後者の場合においても、プロジェクタ等においてデジタルカメラから送られた画像に対する正面撮影補正を行う場合には、前記補正基準情報を使用させることにより、プロジェクタ等において適切な補正を行わせることができる。   Further, in addition to the above-described front shooting correction mode, the digital camera 1 acquires information on a rectangular area that serves as a correction reference when performing front shooting correction of a shot image, and uses this as correction reference information for front shooting correction. A mode for recording in the image memory 16 in association with a target captured image may be provided, and in the case of the apparatus having the above-described output means, the above-described correction reference information is associated with the captured image in the projector. It is also possible to provide a mode for outputting to the like. In the former case, when performing front-side shooting correction on an image acquired via the image memory 16 in another device, the correction reference information is used to cause the other device to perform appropriate correction. Can do. Even in the latter case, when front-side shooting correction is performed on an image sent from a digital camera in a projector or the like, appropriate correction can be performed in the projector or the like by using the correction reference information.

以上の説明においては、本発明をデジタルカメラに適用した場合について述べたが、本発明は撮影された画像に対して正面撮影補正を行う機能を有するものであれば、プロジェクタ等の他の機器にも適用することができる。また、いわゆる書画カメラにも適用可能である。それらにおいても、例えばパーソナルコンピュータにおけるマウス、或いはタッチパネル等のように画面内における任意の位置の指定作業が比較的容易なユーザーインターフェースを備えていない構成であっても、正面撮影補正に先立ち補正基準とする矩形領域をユーザーに指定させる際、本実施の形態と同様、ユーザーは、正面撮影補正を行うとき、それに必要な補正基準として、自分が意図する補正基準を容易かつ効率的に指定することが可能となる。   In the above description, the case where the present invention is applied to a digital camera has been described. However, the present invention can be applied to other devices such as a projector as long as it has a function of correcting a front image for a captured image. Can also be applied. It can also be applied to a so-called document camera. Even in such a configuration, for example, a mouse or a touch panel in a personal computer does not have a user interface that makes it relatively easy to specify an arbitrary position in the screen. When the user designates the rectangular area to be performed, as in the present embodiment, the user can easily and efficiently designate the correction standard intended by the user as a necessary correction standard when performing front shooting correction. It becomes possible.

デジタルカメラの外観斜視図である。It is an external appearance perspective view of a digital camera. デジタルカメラのブロック図である。It is a block diagram of a digital camera. 正面撮影補正モードにおけるCPUの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of CPU in front surface imaging correction mode. (a)は撮影画像を示す図、(b)は撮影画像から検出された輪郭線を示す図である。(A) is a figure which shows a picked-up image, (b) is a figure which shows the outline detected from the picked-up image. 座標データを示す模式図である。It is a schematic diagram which shows coordinate data. 補正基準の候補となる矩形領域の輪郭を示す図である。It is a figure which shows the outline of the rectangular area | region used as the correction | amendment reference | standard candidate. 頂点座標データを示す模式図である。It is a schematic diagram which shows vertex coordinate data. ハンドル移動操作に応じたハンドルの位置変化を示す図である。It is a figure which shows the position change of the handle | steering-wheel according to handle | steering-wheel movement operation. 頂点変更操作に応じた輪郭の変化を示す図である。It is a figure which shows the change of the outline according to vertex change operation. 新たな矩形領域を指定する手順の一例を示す表示画面の遷移図である。It is a transition diagram of a display screen showing an example of a procedure for designating a new rectangular area. 同新たな矩形領域の各頂点の座標値を示す図である。It is a figure which shows the coordinate value of each vertex of the new rectangular area. 正面撮影補正後に表示する画面の一例を示した図である。It is the figure which showed an example of the screen displayed after front imaging | photography correction | amendment.

符号の説明Explanation of symbols

1 デジタルカメラ
5 シャッターキー
9 カーソルキー
10 液晶モニタ
11 CPU
12 CCD
14 RAM
15 画像処理部
17 キー入力部
18 ROM
G0 撮影画像
G1 補正後の切り出し画像
201 座標データ
202 頂点座標データ
A 輪郭線
Aa〜Ae 輪郭
Ba〜Be 修正後の輪郭
H ハンドル
Pa〜Pn 頂点
1 Digital Camera 5 Shutter Key 9 Cursor Key 10 LCD Monitor 11 CPU
12 CCD
14 RAM
15 Image processing unit 17 Key input unit 18 ROM
G0 Photographed image G1 Cutout image after correction 201 Coordinate data 202 Vertex coordinate data A Contour line Aa to Ae Contour Ba to Be Corrected contour H Handle Pa to Pn Vertex

Claims (10)

入力した画像における矩形歪の補正に要する補正基準となる矩形領域を使用者に指定させる補正基準指定装置であって、
前記画像から補正基準の候補となる複数の矩形領域の角部を検出する検出手段と、
この検出手段によって検出された複数の角部を座標情報として記憶する記憶手段と、
前記画像を表示する表示手段と、
この表示手段に、使用者による領域指定操作に伴い前記複数の角部のいずれかの組合せによって規定される矩形領域を選択候補として表示させる表示制御手段と、
使用者が前記領域指定操作を行うための入力手段と
を備えたことを特徴とする補正基準指定装置。
A correction reference designating device that allows a user to designate a rectangular area as a correction standard required for correcting rectangular distortion in an input image,
Detecting means for detecting corners of a plurality of rectangular regions that are candidates for correction criteria from the image;
Storage means for storing a plurality of corners detected by the detection means as coordinate information;
Display means for displaying the image;
Display control means for causing the display means to display a rectangular area defined by any combination of the plurality of corners as a selection candidate in accordance with an area specifying operation by a user;
A correction reference designating device comprising: an input means for a user to perform the region designating operation.
前記検出手段は、前記画像から複数の直線を認識し、認識した複数の直線に沿って区画される複数の矩形領域の角部を検出することを特徴とする請求項1記載の補正基準指定装置。   The correction reference designating apparatus according to claim 1, wherein the detection unit recognizes a plurality of straight lines from the image and detects corners of a plurality of rectangular regions partitioned along the recognized plurality of straight lines. . 前記表示制御手段は、前記選択候補の矩形領域を前記画像に重ねて前記表示手段に表示させるとともに、使用者による領域指定操作における領域切替操作に応じ、選択候補の矩形領域を異なる角部の組合せによって規定される他の矩形領域に切り替える領域切替手段を含むことを特徴とする請求項1又は2記載の補正基準指定装置。   The display control unit causes the display unit to display the selection candidate rectangular area on the image, and to change the selection candidate rectangular area to a combination of different corners according to an area switching operation in an area designation operation by a user. 3. The correction reference designating device according to claim 1, further comprising a region switching means for switching to another rectangular region defined by 前記表示制御手段は、前記表示手段に、選択候補の矩形領域における各角部のいずれかを変更候補として識別可能に表示させるとともに、使用者による領域指定操作における頂点切替操作に応じ、変更候補の角部を他の角部に切り替える頂点切替手段と、この頂点切替手段により識別可能に表示された変更候補の角部を、使用者による領域指定操作における頂点変更操作に応じ、矩形領域における上下左右の位置が当該角部と同一である、前記複数の角部のいずれかの組合せによって規定される矩形領域であって選択候補となっていない他の矩形領域の角部に変更し、選択候補の矩形領域を修正する頂点変更手段とを含むことを特徴とする請求項1又は2,3記載の補正基準指定装置。   The display control means causes the display means to display any one of the corners in the rectangular area of the selection candidate as a change candidate so as to be identifiable, and according to the vertex switching operation in the area specifying operation by the user, Vertex switching means for switching a corner to another corner, and the corners of change candidates displayed in an identifiable manner by this vertex switching means, in accordance with the vertex changing operation in the area specifying operation by the user, up, down, left, right Is changed to a corner of another rectangular area that is the same as the corner and defined by any combination of the plurality of corners and is not a selection candidate. 4. The correction reference designating device according to claim 1, further comprising vertex changing means for correcting the rectangular area. 使用者による領域確定操作に応じ、前記表示制御手段により表示手段に表示された矩形領域を前記補正基準として決定する決定手段と、
使用者が前記領域確定操作を行うための入力手段と
をさらに備えたことを特徴とする請求項1〜4のいずれか1項に記載の補正基準指定装置。
Determining means for determining, as the correction reference, a rectangular area displayed on the display means by the display control means in response to an area determination operation by a user;
The correction reference designating device according to claim 1, further comprising: an input unit that allows a user to perform the region determination operation.
入力した画像における矩形歪を、前記決定手段により決定された補正基準に基づいて補正する補正手段を備えたことを特徴とする請求項5記載の補正基準指定装置。   6. The correction standard designating apparatus according to claim 5, further comprising a correction unit that corrects rectangular distortion in the input image based on the correction standard determined by the determination unit. 前記補正手段により補正された補正後の画像から、補正基準となった矩形領域に相当する矩形領域を切り出す切り出し手段と、
この切り出し手段により切り出された矩形領域の画像を前記表示手段に表示させる制御手段と
を備えたことを特徴とする請求項6記載の補正基準指定装置。
A cutout unit that cuts out a rectangular region corresponding to the rectangular region serving as a correction reference from the image after correction corrected by the correction unit;
7. The correction reference designating apparatus according to claim 6, further comprising a control unit that causes the display unit to display an image of a rectangular area cut out by the cutout unit.
被写体の画像を撮像する撮像手段を備え、前記表示手段は、その撮像手段により撮像された画像を表示し、前記検出手段は、前記撮像手段により撮像された画像から補正基準の候補となる複数の矩形領域の角部を検出することを特徴とする請求項1〜7のいずれか1項に記載の補正基準指定装置。    An image capturing unit configured to capture an image of a subject, wherein the display unit displays an image captured by the image capturing unit, and the detection unit includes a plurality of correction reference candidates from the image captured by the image capturing unit. The correction reference designation device according to claim 1, wherein a corner portion of the rectangular region is detected. 入力した画像における矩形歪の補正に要する補正基準となる矩形領域を使用者に指定させる補正基準指定方法であって、
入力した画像から補正基準の候補となる複数の矩形領域の角部を検出する工程と、
検出した複数の角部を座標情報として記憶する工程と、
使用者による領域指定操作に伴い、前記画像を表示する表示手段に、座標情報として記憶した複数の角部のいずれかの組合せによって規定される矩形領域を選択候補として表示させる工程と
を含むことを特徴とする補正基準指定方法。
A correction standard designating method for allowing a user to designate a rectangular area that is a correction standard required for correcting rectangular distortion in an input image,
Detecting corners of a plurality of rectangular regions that are candidates for correction criteria from the input image;
Storing the detected plurality of corners as coordinate information;
A step of displaying a rectangular area defined by any combination of a plurality of corners stored as coordinate information on the display means for displaying the image as a selection candidate in accordance with an area specifying operation by a user. Characteristic correction standard designation method.
入力した画像における矩形歪の補正に要する補正基準となる矩形領域を使用者に指定させる補正基準指定装置が有するコンピュータを、
使用者による領域指定操作に伴い、前記画像を表示する表示手段に、記憶手段に記憶されている座標情報であって前記画像から検出された補正基準の候補となる複数の矩形領域の角部を示す座標情報に基づき、いずれかの角部の組合せによって規定される矩形領域を選択候補として表示させる表示制御手段と
して機能させるためのプログラム。
A computer having a correction standard designating device that allows a user to designate a rectangular area that is a correction standard required for correcting rectangular distortion in an input image,
In accordance with an area specifying operation by the user, the display means for displaying the image includes coordinate information stored in a storage means, and corners of a plurality of rectangular areas that are candidates for correction criteria detected from the image. A program for functioning as a display control means for displaying a rectangular area defined by a combination of any corners as a selection candidate based on the coordinate information shown.
JP2004121014A 2004-04-16 2004-04-16 Correction reference designation device and correction reference designation method Pending JP2005303941A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004121014A JP2005303941A (en) 2004-04-16 2004-04-16 Correction reference designation device and correction reference designation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004121014A JP2005303941A (en) 2004-04-16 2004-04-16 Correction reference designation device and correction reference designation method

Publications (1)

Publication Number Publication Date
JP2005303941A true JP2005303941A (en) 2005-10-27

Family

ID=35334904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004121014A Pending JP2005303941A (en) 2004-04-16 2004-04-16 Correction reference designation device and correction reference designation method

Country Status (1)

Country Link
JP (1) JP2005303941A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008086007A (en) * 2006-08-30 2008-04-10 Matsushita Electric Ind Co Ltd Image signal processing apparatus, image encoding device and image decoding device, methods thereof, processor therefor, and image processor for video conference system
KR20120083352A (en) * 2009-09-23 2012-07-25 마이크로소프트 코포레이션 Camera-based scanning
JP2013110578A (en) * 2011-11-21 2013-06-06 Pfu Ltd Image processing apparatus, image processing method, and image processing program
WO2013094231A1 (en) * 2011-12-20 2013-06-27 ナカバヤシ株式会社 Information terminal device, captured image processing system, method, and recording medium recording program
US8587818B2 (en) 2009-08-07 2013-11-19 Sharp Kabushiki Kaisha Captured image processing system and recording medium
US9412015B2 (en) 2012-01-17 2016-08-09 Sharp Kabushiki Kaishi Image-capturing apparatus, captured image processing system, and recording medium
EP3054662A1 (en) 2015-01-28 2016-08-10 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and computer program
KR20160150331A (en) * 2015-06-22 2016-12-30 두산중공업 주식회사 Apparatus for Extracting Trend Data using Camera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01231184A (en) * 1988-03-11 1989-09-14 Oki Electric Ind Co Ltd Detecting device for abnormality of area shape
JPH0410073A (en) * 1990-04-27 1992-01-14 Toshiba Corp Picture editing device
JP2002077566A (en) * 2000-08-23 2002-03-15 Nec Microsystems Ltd Image corrector
JP2003283916A (en) * 2002-03-20 2003-10-03 Seiko Epson Corp Digital camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01231184A (en) * 1988-03-11 1989-09-14 Oki Electric Ind Co Ltd Detecting device for abnormality of area shape
JPH0410073A (en) * 1990-04-27 1992-01-14 Toshiba Corp Picture editing device
JP2002077566A (en) * 2000-08-23 2002-03-15 Nec Microsystems Ltd Image corrector
JP2003283916A (en) * 2002-03-20 2003-10-03 Seiko Epson Corp Digital camera

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008086007A (en) * 2006-08-30 2008-04-10 Matsushita Electric Ind Co Ltd Image signal processing apparatus, image encoding device and image decoding device, methods thereof, processor therefor, and image processor for video conference system
US8587818B2 (en) 2009-08-07 2013-11-19 Sharp Kabushiki Kaisha Captured image processing system and recording medium
KR20120083352A (en) * 2009-09-23 2012-07-25 마이크로소프트 코포레이션 Camera-based scanning
KR101711233B1 (en) * 2009-09-23 2017-02-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Camera-based scanning
JP2013110578A (en) * 2011-11-21 2013-06-06 Pfu Ltd Image processing apparatus, image processing method, and image processing program
US9659226B2 (en) 2011-11-21 2017-05-23 Pfu Limited Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program
WO2013094231A1 (en) * 2011-12-20 2013-06-27 ナカバヤシ株式会社 Information terminal device, captured image processing system, method, and recording medium recording program
JP2013131801A (en) * 2011-12-20 2013-07-04 Nakabayashi Co Ltd Information terminal device, picked up image processing system, method and program, and recording medium
US9412015B2 (en) 2012-01-17 2016-08-09 Sharp Kabushiki Kaishi Image-capturing apparatus, captured image processing system, and recording medium
EP3054662A1 (en) 2015-01-28 2016-08-10 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and computer program
US9740953B2 (en) 2015-01-28 2017-08-22 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
KR20160150331A (en) * 2015-06-22 2016-12-30 두산중공업 주식회사 Apparatus for Extracting Trend Data using Camera
KR101724200B1 (en) * 2015-06-22 2017-04-06 두산중공업 주식회사 Apparatus for Extracting Trend Data using Camera

Similar Documents

Publication Publication Date Title
US7880792B2 (en) Image capturing apparatus with through image display function
US7524066B2 (en) Projection device projection system, and image obtainment method
US8917335B2 (en) Image capturing apparatus with zoom function
US6188432B1 (en) Information processing method and apparatus for displaying and zooming an object image and a line drawing
JP4635477B2 (en) Image photographing apparatus, pseudo three-dimensional image generation method, and program
JP2005303941A (en) Correction reference designation device and correction reference designation method
JP4598842B2 (en) Interactive mirror
US20170214895A1 (en) Projection apparatus, projection method, and storage medium
JP5861395B2 (en) Portable device
JP2006237757A (en) Digital camera device and method for displaying through-image
JP4945961B2 (en) Imaging device
JP2013021548A (en) Image pickup device, image reproduction device, and program
JP4735166B2 (en) Image display apparatus and program
JP6253007B2 (en) Display device
JP5422888B2 (en) Digital camera with projector function
JP5656496B2 (en) Display device and display method
JP4751715B2 (en) Imaging device
JP4887616B2 (en) Imaging apparatus and image display method
JP2018054912A (en) Projection-type display device and method for controlling the same
JP2013131811A (en) Image display device
JP5003803B2 (en) Image output apparatus and program
JP2012053521A (en) Image edition processing device, image edition processing program and digital camera with projector
US11165970B2 (en) Image processing apparatus, imaging apparatus, image processing method, and non-transitory computer readable medium
JP2004013461A (en) Image processing system and digital imaging apparatus
JP2009251817A (en) Image display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100812

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101012