JP2004013461A

JP2004013461A - Image processing system and digital imaging apparatus

Info

Publication number: JP2004013461A
Application number: JP2002165118A
Authority: JP
Inventors: Toshiharu Ueno; 上野　寿治
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-06-06
Filing date: 2002-06-06
Publication date: 2004-01-15

Abstract

<P>PROBLEM TO BE SOLVED: To compensate an image data for distortion while checking accuracy of compensation. <P>SOLUTION: A user moves a cursor mark 52 superimposed on an image (subject image) based on an image data intended for compensation in a display unit by a cursor key operation and, by specifying a point by pressing a coordinate determining button, specifies two points (starting and ending points) on an object 50 which should normally be straight on the image (subject image) based on the image data intended for compensation, and specifies an amount of compensation by pressing the coordinate determining button. The system compensates for the image data of the object according to the specified amount of compensation, determines positions of the two points after movement by the compensation which is performed by converting the coordinates of the specified points, and displays them on the subject image based on the image data after compensation in the display unit with an additional line 56 connecting the two points after movement straight superimposed. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及びデジタル撮像装置に係わり、特に、画像データの歪曲を補正する画像処理装置及びデジタル撮像装置に関する。
【０００２】
【従来の技術】
一般に、銀塩カメラやデジタルカメラなどの光学レンズを通して被写体を撮像して、被写体像を表す画像データを取得する撮像装置では、光学レンズの収差により、取得した画像データに基づく画像に歪曲が生じることが知られている。
【０００３】
撮像装置に用いられる光学レンズは、このような歪曲を打ち消すように構成されるが、撮影倍率を変更可能なズーム機能を備えた光学レンズの場合、同一の光学レンズ構成でテレ端及びワイド端を共に補正することは難しく、大きな光学歪みが発生し易い。また、特に、近年は、撮像装置本体の小型・軽量化に伴って光学レンズも小型化するため収差が生じやすく、この歪曲が問題となっている。
【０００４】
銀塩カメラのようにフイルムに画像が記録される場合、すなわち画像がアナログデータで取得される場合は、上記のような歪みを撮像装置で補正するのは不可能であるため、補正のためには、スキャナなどで画像を読み取ってデジタル化してから、コンピュータなどで画像処理を施す必要があった。
【０００５】
一方、デジタルカメラのようにデジタルデータで画像が取得されて記録メディアに記録される場合は、撮像装置で記録後の画像を補正することが可能であり、特開平１０−２７１４９０号公報、特開２００１−１３３２２３号公報、特開２００１−１３３２２５号公報に記載されているように、従来より、歪曲を補正する手段を撮像装置に搭載し、撮像装置で補正を行うことが提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、ズーム機能を有し撮影倍率を変更可能な撮像装置の場合、撮影倍率の変化によって画像の歪曲率も変化するため、撮影倍率に応じて補正量を調整する必要があるが、従来技術では、補正精度を確認することができなかった。このため、ユーザが手動で補正量を切り替える場合には、目分量や直感に頼ることになり、補正精度に個人差が生じてしまう問題があった。
【０００７】
本発明は上記問題点を解消するためになされたもので、補正精度を確認しながら画像データの歪曲を補正することができる画像処理装置及びデジタル撮像装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、画像データに基づいて画像を表示するための表示手段と、前記画像データの歪曲を補正するための補正量を設定するための補正量設定手段と、前記補正量設定手段により設定された補正量に応じて、前記画像データの歪曲を補正する補正手段と、前記画像データに基づく画像上で予め定められた所定の形状となるべき対象物上の複数の点の位置を指定するための位置指定手段と、少なくとも前記補正手段による補正後の画像データに基づく画像を前記表示手段に表示する場合に、前記指定手段で指定された各点を前記所定の形状となるように接続する補助線を当該画像上に重畳表示するように、前記表示手段の表示を制御する表示制御手段と、を有することを特徴としている。
【０００９】
請求項１に記載の発明によれば、補正量設定手段により設定された補正量に応じて、補正手段によって画像データの歪曲が補正される。この補正後の画像データに基づく画像を表示手段に表示する場合には、表示制御手段により、位置指定手段により指定された予め定められた所定の形状となるべき対象物上の複数の点を当該所定の形状となるように接続する補助線が当該補正後の画像データに基づく画像上に重畳表示される。
【００１０】
このとき、適切な補正量が設定されて高精度に補正が行われていれば、補正後の画像データに基づく画像上の対象物の形状と補助線は略一致するが、設定された補正量が不適な場合には補正精度が低く、補助線は補正後の画像データに基づく画像上の対象物の形状とずれるため、ユーザはこの重畳表示結果から補正精度を簡単に目視確認することができる。したがって、ユーザは、補正精度を確認しながら、最適な補正量となるように補正量を設定し直して、画像データの補正を行うことができる。
【００１１】
なお、上記の画像処理装置においては、補正後の画像データに対して、前記位置指定手段による各点の指定を行うようにしてもよいが、より好ましくは、補正対象（補正前）の画像データに対して、前記位置指定手段による各点の指定が行われるようにするとよい。
【００１２】
また、このように補正対象（補正前）の画像データに対して各点の指定を行う場合は、前記表示制御手段は、前記補正手段による補正前に、前記表示手段に前記補正対象の画像データに基づく画像を表示して、前記位置指定手段による指定を受付けると共に、前記指定を受け付けた後は、前記補正対象の画像データに基づく画像上に、前記位置指定手段により指定された各点を前記所定の形状となるように接続した補助線を重畳表示させるとよい。
【００１３】
また、補正対象（補正前）の画像データに対して各点の指定を行う場合は、前記表示制御手段は、前記補正手段による補正後の画像データに基づく画像を前記表示手段に表示する際に、前記指定手段で指定された各点が当該補正によって移動した後の位置を演算し、前記補正後の画像データに基づく画像の上に、前記移動後の各点を前記所定の形状となるように接続した補助線を重畳表示させるようにする。
【００１４】
ところで、ユーザが位置指定手段により対象物上の点を指定する場合、誤操作や操作する際のユーザの癖などにより、実際に指定した点の位置が、指定したかった点の位置からずれる可能性がある。このため、上記の画像処理装置においては、前記位置指定手段により指定された各点の近傍で画像のエッジを抽出し、抽出したエッジ上の点となるように各点の位置を微調整する微調整手段を更に備え、ユーザによる指定誤差を低減できるようにしてもよい。
【００１５】
ところで、対象物の形状は画像データ毎に異なることが想定される。このため、上記の画像処理装置においては、前記所定の形状を設定するための形状設定手段を更に備え、画像データ毎に、当該画像データに基づく画像に写っている対象物の本来の形状を設定できるようにしてもよい。
【００１６】
請求項２に記載の発明は、光学レンズを介して被写体像を撮影して、当該撮影した被写体像を示す画像データをデジタルデータで得るデジタル撮像装置であって、請求項１に記載の画像処理装置を備え、前記画像処理装置により、撮影した前記被写体像を示す画像データに生じている前記光学レンズに起因する歪曲を補正可能とした、ことを特徴としている。
【００１７】
請求項２に記載の発明によれば、撮影した被写体像を示す画像データに生じている光学レンズに起因する歪曲歪みを上記の画像処理装置で補正するので、ユーザは、補正精度を確認しながら、最適な補正量となるように補正量を設定し直して、画像データの補正を行うことができ、最適な補正量で補正された被写体像を示す画像データを得ることができる。
【００１８】
【発明の実施の形態】
次に、図面を参照して本発明に係る実施形態の１例を詳細に説明する。なお、以下では、本発明の画像処理装置をデジタルカメラに適用した場合について説明する。
【００１９】
図１に示すように、本実施の形態に係るデジタルカメラ１０は、被写体像を結像させるための光学レンズ１２と、光学レンズ１２の光軸後方に配設され被写体像を撮影するためのＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）１４と、入力されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ１６と、入力されたデジタル信号に対して所定の処理を施して画像データを生成する画像処理部１８と、画像データに含まれる歪みを補正する画像補正部２０と、ＬＣＤ（液晶ディスプレイ）など、主としてＣＣＤ１４により撮影した画像（被写体像）を表示するための表示手段としての表示装置２２と、ユーザによって操作される操作手段２４と、ＣＣＤ１４による撮影によって得られた画像データを記憶するための画像データ記録メモリ２６と、表示装置２２に表示するための画像データ（以下、「表示画像データ」と称す）を記録するためのＶＲＡＭなどの表示画像用メモリ２８と、表示画像データに基づく画像上に重畳表示するための画像データ（以下、「補助画像データ」と称す）を記録するための補助画像用メモリ３０と、画像上の指定された点の座標を記憶するための座標メモリ３２と、デジタルカメラ１０全体の動作を司る制御部３４と、を備えて構成されている。
【００２０】
また、本実施の形態のデジタルカメラ１０には、操作手段２４としては、従来よりデジタルカメラ１０に一般的に設けられている、撮影を実行を指示する際に押圧操作されるシャッターボタン２４Ａの他に、特に本発明に係わるものとして、静止画や動画を撮影する撮影モード、過去の撮影によって得られた画像データに基づく画像を表示装置２２に表示（画像の再生表示）する再生モード、及び撮影によって得られた画像データに補正を施す画像補正モードの中から何れか１つを選択するために操作されるモード選択ボタン２４Ｂと、主として画像補正モード選択時に、画像上の位置を指定するために表示されるカーソルの位置を移動させる際に操作されるカーソルキー２４Ｃと、画像上から複数の位置を指定するために押圧操作される位置指定手段としての座標決定ボタン２４Ｄと、補正量を設定するために操作される補正量設定手段としての補正量選択ボタン２４Ｅと、が設けられている。
【００２１】
なお、モード選択ボタン２４Ｂ、カーソルキー２４Ｃ、及び座標決定ボタン２４Ｄについては、必ずしも専用のボタンやキーをデジタルカメラに設ける必要はなく、従来よりユーザにより操作される操作手段としてデジタルカメラに一般的に備えられている各種のボタンやスイッチの何れかを、モード選択ボタン２４Ｂ、カーソルキー２４Ｃ、座標決定ボタン２４Ｄとして機能させるようにしてもよい。
【００２２】
これらシャッターボタン２４Ａ、モード選択ボタン２４Ｂ、カーソルキー２４Ｃ、座標決定ボタン２４Ｄ、及び補正量選択ボタン２４Ｅは、制御部３４と接続されており、制御部３４は、これらのボタン乃至キーのユーザによる操作状態を常時把握することができる。
【００２３】
また、制御部３４は、光学レンズ１２、ＣＣＤ１４、画像処理部１８、画像補正部２０、及び表示装置２２と接続されており、ユーザによる上記のボタン乃至キーの操作状態に応じて、これら各部の作動を制御する。さらに、制御部３４は、画像データ記録メモリ２６、表示画像用メモリ２８、補助画像用メモリ３０、及び座標メモリ３２にも接続されており、ユーザによる上記のボタン乃至キーの操作状態に応じて、これら各メモリへのデータの読書きを制御する。
【００２４】
光学レンズ１２は、図示しないズームレンズ群及びフォーカスレンズを有し、且つそれぞれを光軸方向に移動させるレンズ移動機構を備え、焦点距離の変更（変倍）が可能なズームレンズとして構成されている。
【００２５】
光学レンズ１２は、制御部３４の制御により、所望のズーム倍率になるようにズームレンズ群が光軸方向に移動され（焦点距離可変レンズ）、レンズを通過した被写体像を示す入射光がＣＣＤ１４の受光面上に結像するように、フォーカスレンズが光軸方向に移動される（オートフォーカス（ＡＦ）機構）ようになっている。これにより、ＣＣＤ１４では、光学レンズ１２のレンズを通過した被写体像を示す入射光に基づき被写体を撮影して被写体像を示すアナログ画像信号を出力する。
【００２６】
ＣＣＤ１４の出力端は、図示しない信号処理部により、相関２重サンプリング処理が施され、ＲＧＢの各色毎の感度調整がなされた後、Ａ／Ｄコンバータ１６に入力されるように接続されている。また、Ａ／Ｄコンバータ１６の出力端は、制御部３４と接続されている。すなわち制御部３４には、ＣＣＤ１４により撮影されて出力された被写体像を示すアナログ画像信号が、Ａ／Ｄコンバータ１６によってデジタル画像信号に変換されてから入力される。制御部３４は、入力されたデジタル画像信号を画像処理部１８に転送する。
【００２７】
画像処理部１８では、入力されたデジタル画像信号を画像データ（デジタルデータ）として取り扱い、所定のデジタル画像処理、例えば、ホワイトバランス調整、ガンマ補正、シャープネス補正等の各種補正処理、及びＲＧＢデータを輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」と称す）に変換するＹＣ変換処理を施す。この画像処理部１８による処理後の画像データは、制御部３４により、図示しない圧縮伸長手段で所定の圧縮方式に圧縮させた後、画像データ記録メモリ２６に記録される。これにより、デジタルカメラ１０では、撮影した被写体像を示す画像データがデジタルデータで取得されることになる。
【００２８】
なお、撮影モード時には、制御部３４は、ＣＣＤ４０よるによる連続的な撮像によって得られた画像データを画像データ記録メモリ２６に記録せずに、所謂スルー画像として、表示装置２２に動画表示させることで、表示装置２２をファインダとして使用可能としている。
【００２９】
また、画像再生モード時には、制御部３４により、画像データ記録メモリ２６に記録された画像データが読み出されて、圧縮伸長手段で伸長した後、表示画像データとして表示画像用メモリ２８に格納すると共に、表示装置２２に対しては、表示画像用メモリ２８に格納した表示画像データに基づいて画像を表示させるようになっている。これにより、画像データ記録メモリ２６に記録後の画像データに基づく被写体像を示す画像が表示装置２２に再生表示される。
【００３０】
また、画像補正モード時には、制御部３４により、同様にして、画像データ記録メモリ２６に記録された画像データに基づく被写体像を示す画像を補正対象として表示装置２２に表示させる。また、画像補正部２０により補正対象の画像データが補正された場合には、表示装置２２の表示を補正後の画像データに基づく画像（以下、「補正後の画像」と称す）に更新させるようになっている。
【００３１】
ここで、画像補正部２０は、本発明の補正手段として設けられ、撮影時の光学レンズに起因する歪曲を除去するように、撮影により得られた被写体像を示す画像データを補正するものである。詳しくは、被写体像上に生じる歪曲の歪曲率は、画像中心からの距離の多次元関数で近似表現することができることが一般に知られており、例えば、画像中心からの距離をｄとして、歪曲率Ｆ（ｄ）は、次式（１）のように表すことができる。
【００３２】
Ｆ（ｄ）＝α×ｄ^４＋β×ｄ^２＋γ　　　…（１）
したがって、補正後の画像における画素の座標を（ｘ、ｙ）とすると（ｘ、ｙは整数）、これに対応する補正前の画像の座標（Ｘ，Ｙ）は、次式に示すようになる。
【００３３】
（Ｘ，Ｙ）＝（ｘ×Ｆ（ｄ）、ｙ×Ｆ（ｄ））、ｄ＝（ｘ^２＋ｙ^２）^１／２
画像補正部２０の補正は、このようにして補正後の画像の座標（ｘ、ｙ）に対応する補正前の画像の座標（Ｘ、Ｙ）を求めたら、該補正前の画像における座標（Ｘ、Ｙ）にある画素データを補正後の画像の座標（ｘ、ｙ）に移動することで行うことができるが、通常、上記式により求めた補正前の画像の座標（Ｘ、Ｙ）は整数値にならず、補正前の画像には対応する画素データが存在しない。
【００３４】
このため、求めた補正前の画像の座標（Ｘ、Ｙ）に対応する画素データを、当該補正前の画像の座標（Ｘ、Ｙ）近傍の実在する画素データから内挿によって求めて補間する必要がある。この場合の補間方法（内挿方法）としては、例えば、最近傍補間法（ｎｅａｒｅｓｔ　ｎｅｉｇｈｂｏｒ　ｉｎｔｅｒｐｏｌａｔｉｏｎ）、線形補間法（ｂｉ−ｌｉｎｅａｒ　ｉｎｔｅｒｐｏｌａｔｉｏｎ）を挙げられる。
【００３５】
すなわち、最近傍法や線形補間法などの補間方法に従って補間して求めた画素データを補正後の画像における座標（ｘ、ｙ）の画素データとすることで、歪曲を補正することができる。
【００３６】
また、画像補正部２０には、予め、上記の多次元関数を表すパラメータとなる係数α、β、γが、互いに補正量が異なるように複数組（本実施の形態では５組）分記憶されており、制御部３４は、補正量選択ボタン２４Ｅの操作により設定された補正量に応じて、画像補正部２０に、このうち何れか１組を選択させて、上記のような補正を実行させるようになっている。これにより、画像補正部２０では、設定された補正量に応じて画像データを補正することができる。
【００３７】
また、制御部３４は、表示画像用メモリ２８に格納された表示用画像データに基づく画像、すなわち撮影した被写体像上に、各種の補助画像を重畳して表示装置２２に表示させるＯＳＤ（Ｏｎ　Ｓｃｒｅｅｎ　Ｄｉｓｐｌａｙ）機能を備えている。詳しくは、制御部３４は、補助画像用メモリ３０に重畳したい補助画像を示すビットマップデータを補助画像データとして格納し、表示画像用メモリ２８に格納されている表示画像データを示す被写体像上に補助画像データが示す補助画像を重ねた画像データを生成し、この画像データに基づいて表示装置２２に画像を表示させるようになっている。
【００３８】
このＯＳＤ機能により、制御部３４では、画像補正モード選択時に、被写体像上にカーソルマーク（以下、「カーソル」と称す）５２（図５参照）を表示し、カーソルキー２４Ｃの操作に応じて、カーソルマークの表示位置を変更して、随時、表示を更新できる。また、座標決定ボタン２４Ｄが押圧されたときのカーソル位置（画像上における座標）を座標メモリ３２に記録していき、記録した各点を予め定められた形状となるように接続する補助線５６（図５参照）も被写体像上に重畳表示可能となっている。すなわち、本実施の形態では、制御部３４が、本発明の表示制御手段としての機能を担っている。
【００３９】
具体的には、本実施の形態では、座標メモリ３２には、被写体像上の２点の位置が記憶可能となっており、補助線５６として、この２点を始点及び終点とした直線が被写体像上に重畳表示されるようになっている。また、画像補正部２０により画像データが補正された場合には、このときの補正量に応じて始点及び終点の座標を座標変換して、重畳表示する補助線５６を、座標変換後の始点及び終点を接続する直線に変更されるようになっている。すなわち、画像補正部２０により画像データが補正され、表示装置２２の表示が補正後の画像に更新された場合には、補助線５６の位置もこの補正に伴って補正されて、補正後の画像上に重畳表示される。
【００４０】
次に、本実施の形態の作用を説明する。以下では、主として、デジタルカメラ１０で被写体像を撮影し、取得されたデジタル画像データに対して光学歪みの補正を施す場合について説明する。
【００４１】
本実施の形態のデジタルカメラ１０は、図示しない電源スイッチの操作により起動され、起動中は、制御部３４により、図２に示す制御ルーチンが実行される。
【００４２】
ユーザは、被写体の撮影を行いたいときには、モード選択ボタン２４Ｂを操作して撮影モードを選択する。撮影モードが選択されると、制御部３４では、図２のステップ１００からステップ１０２に移行し、図３に示す撮影処理ルーチンが実行される。
【００４３】
撮影処理ルーチンでは、図３に示すように、ステップ２００で、ＣＣＤ１４により連続的な撮影を行い、この撮影結果は、Ａ／Ｄコンバータ１６によりアナログ画像信号からデジタル画像信号に変換されて制御部３４に入力されるので、これを表示装置２２に動画表示する（スルー画像表示）。なお、画像処理部１８で所定のデジタル画像処理を施した後、動画表示させてもよい。
【００４４】
ユーザは、この動画表示を確認しながら、必要であればズームイン／アウトを指示するためのズームボタン（図示省略）を操作して撮影倍率を変更し、被写体の構図を決定し、シャッターボタン２４Ａを押圧操作する。
【００４５】
シャッターボタン２４Ａが押圧されると、次のステップ２０２からステップ２０４に移行し、ＣＣＤ１４によりこのときの被写体像（静止画）が撮影され、この撮影結果は、Ａ／Ｄコンバータ１６によりアナログ画像信号からデジタル画像信号に変換されて制御部３４に入力される。そして、次のステップ２０６で、このデジタル画像信号を画像データとして取り扱って、画像処理部１８で所定のデジタル画像処理を施した後、ステップ２０８で画像データ記録メモリ２６に記録して、撮影処理ルーチンを終了する。このように撮影処理ルーチンでは、撮影された被写体像を示す画像データが取得されて、画像データ記録メモリ２６に格納される。
【００４６】
ユーザは、このようにして取得した画像データを再生したい場合は、モード選択ボタン２４Ｂを操作して再生モードを選択すれば、図２のステップ１００からステップ１０４、ステップ１０８と移行し、再生処理ルーチン（図示省略）が開始されるので、再生したい画像データを指定する。再生処理ルーチンでは、制御部３４の制御により、画像データ記録メモリ２６から指定された当該画像データが読み出され、表示装置２２に該画像データに基づく画像（被写体像）が表示される（再生表示）。
【００４７】
一方、取得された画像データの光学レンズ１２に起因する歪曲を補正する場合は、ユーザは、モード選択ボタン２４Ｂを操作して画像補正モードを選択する。
【００４８】
画像補正モードが選択されると、制御部３４では、図２のステップ１００からステップ１０４、ステップ１０６と移行し、図４に示す画像補正処理ルーチンが開始される。
【００４９】
画像補正処理ルーチンでは、ステップ２５０で、画像データ記録メモリ２６から補正対象の画像データを読出し、表示画像データとして表示画像用メモリ２８に格納する。なお、補正対象の画像データは、ユーザにより指定されるが、撮影直後に画像補正モードが選択された場合は、当該撮影により取得された画像データが自動的に補正対象の画像データとして画像データ記録メモリ２６から読み出されるようにしてもよい。また、画像の再生表示中に画像補正モードが選択された場合には、当該再生中の画像データを補正対象の画像データとしてもよく、この場合は、補正対象の画像データは既に表示画像用メモリ２８に格納されていることになるので、この処理は省略される。
【００５０】
なお、以下では、図５（Ａ）に示すように、この補正対象の画像データが示す被写体像上には、本来直線であるべき対象物（例えば、ビルの壁面、標識の支柱、水平線など）５０が写っているものとする。
【００５１】
また、次のステップ２５２では、補助画像データとして、カーソルマークを示すビットマップデータを補助画像用メモリ３０に格納した後、ステップ２５４で表示画像用メモリ２８に格納されている表示画像データが示す被写体像上の所定位置に補助画像用メモリ３０に格納されている補助画像データが示すカーソルマークを重畳した状態を示す画像データを生成して、生成した画像データを表示装置２２に表示させる。これにより、表示装置２２には、図５（Ａ）に示した被写体像の上に、図５（Ｂ）に如くカーソル５２が重畳表示される。この重畳表示後は、制御部３４は、カーソルキー２４Ｃ又は座標決定ボタン２４Ｄが押圧操作されるまで待機している。
【００５２】
ユーザは、表示装置２２の重畳表示結果を確認して、被写体像上の本来直線であるべき対象物５０の位置にカーソル５２を移動させるように、カーソルキー２４Ｃを押圧操作する。
【００５３】
制御部３４は、この押圧操作を受けて、ステップ２５６からステップ２５８に進み、当該押圧操作に応じて、被写体像上におけるカーソルの位置を変更して（カーソル位置移動）、重畳表示を更新する。制御部３４は、この座標決定ボタン２４Ｄが押圧操作されるまで、次のステップ２６０で否定判定されて、ステップ２５６に戻り、同様の処理を繰り返し、ユーザのカーソルキー２４Ｃの操作に応じて、表示装置２２で被写体上に重畳表示されているカーソル位置が移動される。
【００５４】
そして、ユーザは、この重畳表示を確認しながらカーソル５２が本来直線であるべき対象物の上に移動するまでカーソルキー２４Ｃを操作し、図５（Ｃ）に示すように、カーソル５２が本来直線であるべき対象物５０の上に移動したら、座標決定ボタン２４Ｄを押圧操作する。
【００５５】
座標決定ボタン２４Ｄが押圧操作されると、本来直線であるべき対象物５０上の点が指定されたとして、制御部３４は、ステップ２６０からステップ２６２に移行し、このときのカーソル位置に始点・終点マーク５４を表示するために、始点・終点マーク５４を示すビットマップデータを生成して、補助画像データに追加し、重上表示を更新する。これにより、表示装置２２には、図５（Ｄ）に示すように、被写体上に、始点・終点マーク５４が重畳表示される。
【００５６】
なお、図１に点線で示すように、ユーザにより指定された点の位置を微調整する微調整手段として微調整部４０を制御部３４と接続させて更に設け、制御部３４は、座標決定ボタン２４Ｄが押圧操作されて対象物５０上の点が指定された場合に、微調整部４０を駆動させて、微調整部４０により、従来公知のエッジ抽出技術を用いて、ユーザにより指定された点の近傍で画像のエッジ（対象物と非対象物の境界）を抽出し、指定された点の位置を当該抽出したエッジ上に調整するようにしてもよい。このように自動調整することにより、ユーザのくせや手元の狂いに係わらず、本来直線であるべき対象物５０上の点を正確に指定することができ、指定誤差を低減することができる。
【００５７】
また、制御部３４は、ステップ２６２の始点・終点マーク５４の重畳表示と同時に、次のステップ２６４で、このときの被写体像上のカーソル位置の座標を座標メモリ３２に記録する。その後、この記録が１点目の座標の記録の場合は、次のステップ２６６からステップ２５６に戻るので、ユーザは、１点目と同様にカーソルキー２４Ｃを操作して、図５（Ｅ）に示す如くカーソル５２の位置を移動し、座標決定ボタン２４Ｄを押圧操作し、本来直線であるべき対象物５０上のもう１点を指定する。すなわち、本来直線であるべき対象物上の２点が指定される。なお、ユーザは、この指定される２点は、本来直線であるべき対象物５０の両端近傍であることが好ましく、このことを表示装置２２にメッセージ表示するなどしてユーザに知らせるようにするとよい。
【００５８】
このようにして、本来直線であるべき対象物上の２点目が指定されたら、表示装置２２には、図５（Ｆ）に示すように、被写体上に、２点目についても始点・終点マーク５４が重畳表示される。また、この２点目の座標も座標メモリ３２に記録される。
【００５９】
２点目の座標が記録されると、ステップ２６６からステップ２６８に移行し、指定された２点間を接続するような直線を示すビットマップデータを生成して、補助画像データに追加し、重畳表示を更新する。これにより、図５（Ｇ）に示す如く、被写体像上の重畳表示された２つの始点・終点マーク５４間にさらに補助線（直線）５６が重畳されて、被写体像上に始点・終点マーク５４間を接続した補助線（直線）５６が描かれる。
【００６０】
ユーザは、この表示結果から本来直線であるべき対象物５０と補助線（直線）５６とを比較し、補助線５６が対象物５０の形状と一致していない場合には、補助線５６と対象物５０とのズレに応じた大きさの歪曲が画像データに生じていると判断することができる。すなわち、ユーザは、画像データに生じている歪曲の有無、及び歪曲が有る場合には当該歪曲の大きさを目視で確認することができる。
【００６１】
ユーザは、画像データに歪曲が無いと判断した場合には、モード選択ボタン２４Ｂを押圧操作することで、補正終了指示を入力する。これを受けて、制御部３４は、次のステップ２７０からステップ２８０を介して後述のステップ２８２と移行する
一方、ユーザは、画像データに歪曲が有ることを確認した場合には、補正量選択ボタン２４Ｅを押圧操作して、歪曲の大きさに応じて補正量を指定する。なお、本実施の形態では、補正量選択ボタン２４Ｅでは、現在選択中の補正量に対して補正量のアップ又はダウンを選択して指定可能であり、１回の操作により現在選択中の補正量の次に大きい又は小さい補正量が指定されるようになっている。また、本実施の形態では、補正量選択ボタン２４Ｅの１回目の押圧操作では、最小の補正量が指定されるようになっている。
【００６２】
制御部３４では、補正量選択ボタン２４Ｅが押圧操作されると、次のステップ２７０からステップ２７２に移行し、画像データ記録メモリ２６から前述のステップ２５０で読み出した補正対象の画像データを再度読出して、当該押圧操作により選択された補正量で読み出した画像データに補正を施し、ステップ２７４で、補正後の画像データを表示画像データとして表示画像用メモリ２８に格納（上書き保存）する。
【００６３】
続いて、ステップ２７６では、座標メモリ３２に記録されている２点の位置、すなわち補正対象の画像データで指定された２点の位置を選択された補正量に応じて座標変換し、指定された各点に対応する補正後の画像データにおける位置を求める。そして、ステップ２７８で、座標変換後の２点の位置に始点・終点マーク５４の位置を移動すると共に、補助線５６を座標変換後の２点間を接続する直線に変更するように、補助画像用メモリ３０に格納されている補助画像データの内容を変更し、重畳表示を更新した後、モード選択ボタン２４Ｂが押圧されるまで、次のステップ２８０からステップ２７０に戻る。
【００６４】
これにより、表示装置２２には、図５（Ｈ）に示すように、補正後の画像データに基づいて表示された被写体像上に、本来直線であるべき対象物５０の２点を示す始点・終点マーク５４が補正後の画像データにおける対応する位置に移動され、且つ補助線５６として当該移動後の２点間を接続するように直線が重畳表示される。
【００６５】
このとき、適切な補正量が設定されて高精度に補正が行われていれば、補正後の画像データに基づいて表示された被写体像上の対象物５０の形状と、補助線５６は略一致するが、設定された補正量が不適な場合には補正精度が低く、補助線５６は補正後の画像データに基づく画像上の対象物５０の形状とずれて表示される。したがって、ユーザは、この表示結果から補正後の本来直線であるべき対象物５０と補助線（直線）５６とを比較し、補正によって歪曲が解消されたか否かを目視確認することができる。
【００６６】
ユーザは、補正精度が低い、すなわち補正後もまだ歪曲が残っていると判断した場合には、補正量選択ボタン２４Ｅを押圧操作して、補正量を変更する。制御部３４は、これを受けて上記と同様の処理を行って、変更した補正量に応じて画像データを補正し、表示装置２２には、変更した補正量での補正後の画像データに基づいて表示された被写体像上に、本来直線であるべき対象物５０の２点を示す始点・終点マーク５４が変更した補正量での補正後の補正後の画像データにおける対応する位置が移動され、且つ当該移動後の２点間を接続するように補助線（直線）５６が重畳表示される。
【００６７】
ユーザは、このように補正量選択ボタン２４Ｅの操作により補正量の設定を変更し、表示装置２２の表示結果から設定した補正量による補正結果を確認し、歪曲が解消されたと判断したり、モード選択ボタン２４Ｂを押圧操作することで、補正終了指示を入力する。
【００６８】
制御部３４は、このモード選択ボタン２４Ｂの押圧操作を受けて、ステップ２８０からステップ２８２に移行し、表示画像用メモリ２８の表示画像データを補正後の画像データとして画像データ記録メモリ２６に記録する。なお、補正後の画像データは、画像データ記録メモリ２６の前述のステップ２５０で読み出した補正対象の画像データとは別に保存するようにしてもよいし、補正対象の画像データに上書き保存してもよい。そして、次のステップ２８４で、座標メモリ３２の記録を消去（クリア）して、画像補正処理ルーチンを終了する。
【００６９】
このように、本実施の形態では、補正対象の画像データに基づく画像（被写体像）に写っている本来直線であるべき対象物５０上の２点をユーザに指定させた後、当該画像データを設定された補正量に応じて補正すると共に、指定された２点を座標変換することで各点の当該補正による移動後の位置を求め、補正後の画像データに基づいた被写体像上に、移動後の２点間を直線接続した補助線５６を重畳して、表示装置２２に表示させるようになっている。ユーザは、この重畳表示結果から、補正後の画像データに残存する歪曲の有無、及び歪曲が残っている場合には当該歪曲の大きさを目視で簡単に確認することができ、補正によっても歪曲が解消されなかった場合には、補正量の設定を変更して再度補正を実行させることができるので、補正精度を確認しながら画像データの歪曲を補正することができる。
【００７０】
なお、本実施の形態では、補正対象の画像データに基づく画像（被写体像）上で本来直線であるべき対象物５０上の２点を指定させる場合、すなわち、ユーザによる本来直線であるべき対象物５０上の２点を指定する指定作業が、補正対象（補正前）の画像データに対して行われる場合を例に説明したが、この指定作業は、補正後の画像データに対して行うようにしてもよい。
【００７１】
すなわち、補正後の画像データに基づく画像上で、本来直線であるべき対象物５０上の２点をユーザに指定させるようにし、指定された２点間を直線接続した補助線５６を補正後の画像データに基づいた被写体像上に重畳表示させてもよい。このように補正後の画像データに対してユーザが指定作業を行うようにすることにより、指定された各点の座標変換処理が不要となり、装置側の負荷を軽減することができる。ただし、同一の画像データであっても、補正量を変更するたびに、当該補正量に応じた補正後の画像データに対して指定作業を行う必要があり、ユーザの作業負担が増えるので、本実施の形態の如く、補正前の画像データに対して指定作業を行うようにすることが好ましい。
【００７２】
また、補正前の画像データに対して指定作業を行うことにしたことにより、上記で説明した如く、補正対象の画像データに基づいた被写体像上に指定された２点間を直線接続した補助線５６を重畳して表示装置２２に表示させることが可能となり、ユーザは、この重畳表示から補正対象の画像データに生じている歪曲の有無を目視で確認することができ、補正の是非を判断することができる。また、歪曲がある場合には、当該歪曲の大きさも目視で確認可能であるので、歪曲の大きさに応じて補正量を設定することができる。
【００７３】
なお、本実施の形態では、被写体像上で本来直線であるべき対象物５０上の２点を始点及び終点としてユーザに指定させ、補助線５６として、この２点間を接続する直線を被写体像上に重畳表示する場合を例に説明したが、本発明はこれに限定されるものではなく、対象物本来の形状を被写体像上に重畳表示することが本質である。すなわち、対象物の形状が既知であれば、当該形状に応じて、位置を指定する点数や、指定された各点を接続した補助線５６で描く形状を変えればよい。
【００７４】
例えば、対象物の本来の形状が三角形や四角形などの多角形である場合には、ユーザに被写体像上で当該多角形の頂点を指定させ、指定された各頂点を補助線５６で接続して多角形を描けばよい。また、例えば、対象物の本来の形状が円形であれば、ユーザに被写体像上で当該円周上にあるべき点を少なくとも３点指定させ、補助線５６として、指定された各点がのるような円周を描けばよい。
【００７５】
ところで、ユーザは毎回同一の対象物を撮影するのではなく、対象物の形状は画像データ毎に異なる。このため、図１に点線で示す如く、形状設定手段として形状指定ボタン２４Ｆを設けて、画像データ毎に、当該画像データに基づく画像に写っている対象物の本来の形状をユーザによる形状指定ボタン２４Ｆの操作により指定できるようにしてもよい。この場合は、ユーザによる当該形状指定ボタン２４Ｆの操作によって形状が指定されたら、当該形状を描くために必要な点数を示すメッセージを表示装置２２に表示するなどして、ユーザに指定する必要がある点数を報知するとよい。そして、ユーザにより、この必要な点数分だけ指定されたら、形状指定ボタン２４Ｆの操作により指定された形状となるように、各点を接続した補助線５６を被写体像上に重畳表示させればよい。
【００７６】
なお、この形状指定ボタン２４Ｆは、必ずしも専用のボタンをジタルカメラに設ける必要はなく、従来よりユーザにより操作される操作手段としてデジタルカメラに一般的に備えられている各種のボタンやスイッチの何れかを、形状指定ボタン２４Ｆとして機能させるようにしてもよい。
【００７７】
また、被写体像上に補助線５６で描く形状は、複数であってもよい。例えば、被写体像に本来直線であるべき対象物が２つ写っている場合には、ユーザに２つの直線各々の始点及び終点を指定させて、指定された各々対応する始点及び終点間を接続した補助線（直線）５６を被写体像上に重畳表示し、被写体像上に２本の直線が描かれるようにしてもよい。また、この場合、被写体像上に補助線５６で描く複数の形状は、同一形状でも、異なる形状の組合せでもよい。
【００７８】
また、指定する点数は、対象物の形状を規定可能な個数以上であればよく、例えば、対象物の形状が直線の場合は２点以上、円の場合は３点以上指定すればよい。なお、対象物の形状を規定するために最低限必要な個数よりも多い点数が指定された場合、例えば、対象物の形状が直線の場合は３点以上、円の場合は４点以上指定された場合は、ユーザの手元の狂いなどにより、各点を単に接続した場合に、補助線５６により当該形状を描くことができないことがある。このような場合には、補助線５６上に必ずしも指定された各点がのらなくても、最小二乗法などにより誤差が最小となるようにして、補助線５６で当該形状を描くようにしてもよく、これは、ユーザによる指定誤差の影響を低減する効果もある。
【００７９】
また、上記では、本発明の画像処理装置をデジタルカメラに適用し、画像処理装置を備えたデジタルカメラ１０を例に説明したが、本発明はこれに限定されるものではなく、また、本発明の画像処理装置で補正する画像データは、デジタルカメラの撮影により得た画像データに限定されるものではない。例えば、デジタルカメラ以外にも、スキャナ、コンピュータで動作する画像処理ソフトウェアにも本発明は適用可能である。また、本発明の画像処理装置は、これらデジタルカメラ、スキャナ、画像処理ソフトウェアが動作するコンピュータとは物理的に異なる装置として構成してもよい。
【００８０】
【発明の効果】
上記に示したように、本発明は、補正精度を確認しながら画像データの歪曲を補正することができるという優れた効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わるデジタルカメラの電気系の構成を示すブロック図である。
【図２】本発明の実施の形態に係わるデジタルカメラの制御部で実行される制御ルーチンを示すフローチャートである（メインルーチン）。
【図３】本発明の実施の形態に係わるデジタルカメラの制御部で実行される撮影処理ルーチンを示すフローチャートである（サブルーチン）。
【図４】本発明の実施の形態に係わるデジタルカメラの制御部で実行される画像補正処理ルーチンを示すフローチャートである（サブルーチン）。
【図５】（Ａ）〜（Ｈ）は、画像補正処理ルーチン実行時の表示装置の表示変化を示す図である。
【符号の説明】
１０デジタルカメラ
１２光学レンズ
１４ＣＣＤ
１８画像処理部
２０画像補正部
２２表示装置
２４Ａ　　　　　シャッターボタン
２４Ｂ　　　　　モード選択ボタン
２４Ｃ　　　　　カーソルキー
２４Ｄ　　　　　座標決定ボタン
２４Ｅ　　　　　補正量選択ボタン
２４Ｆ　　　　　形状指定ボタン
２６画像データ記録メモリ
２８表示画像用メモリ
３０補助画像用メモリ
３２座標メモリ
３４制御部
４０微調整部
５０対象物
５２カーソルマーク
５４始点・終点マーク
５６補助線[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and a digital imaging apparatus, and more particularly to an image processing apparatus and a digital imaging apparatus that correct distortion of image data.
[0002]
[Prior art]
In general, in an imaging device that captures an image of an object through an optical lens such as a silver salt camera or a digital camera and acquires image data representing the image of the object, distortion occurs in the image based on the acquired image data due to aberration of the optical lens. It has been known.
[0003]
The optical lens used in the imaging device is configured to cancel such distortion. However, in the case of an optical lens having a zoom function capable of changing the photographing magnification, the tele end and the wide end are configured with the same optical lens configuration. Both are difficult to correct and large optical distortion is likely to occur. In particular, in recent years, since the optical lens is also miniaturized with the miniaturization and weight reduction of the image pickup apparatus main body, aberration is likely to occur, and this distortion becomes a problem.
[0004]
When an image is recorded on a film like a silver halide camera, that is, when the image is acquired as analog data, it is impossible to correct the above distortion with an imaging device. However, after reading an image with a scanner or the like and digitizing it, it was necessary to perform image processing with a computer or the like.
[0005]
On the other hand, when an image is acquired as digital data and recorded on a recording medium like a digital camera, the image after recording can be corrected by an imaging device. As described in Japanese Patent Application Laid-Open No. 2001-133223 and Japanese Patent Application Laid-Open No. 2001-133225, it has been conventionally proposed to mount a means for correcting distortion in an imaging apparatus and perform correction using the imaging apparatus.
[0006]
[Problems to be solved by the invention]
However, in the case of an imaging apparatus that has a zoom function and can change the shooting magnification, the distortion rate of the image also changes due to the change in the shooting magnification, and thus it is necessary to adjust the correction amount according to the shooting magnification. The correction accuracy could not be confirmed. For this reason, when the user manually switches the correction amount, there is a problem in that there is an individual difference in the correction accuracy because it relies on the amount of scale and intuition.
[0007]
The present invention has been made to solve the above-described problems, and an object thereof is to provide an image processing apparatus and a digital imaging apparatus capable of correcting distortion of image data while checking correction accuracy.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the invention described in claim 1 is a display means for displaying an image based on image data, and a correction for setting a correction amount for correcting distortion of the image data. An amount setting means, a correction means for correcting distortion of the image data in accordance with the correction amount set by the correction amount setting means, and a predetermined shape predetermined on the image based on the image data A position designation unit for designating positions of a plurality of points on the object, and at least an image based on image data corrected by the correction unit is displayed on the display unit. And display control means for controlling the display of the display means so as to superimpose and display auxiliary lines connecting the dots so as to have the predetermined shape on the image.
[0009]
According to the first aspect of the present invention, the distortion of the image data is corrected by the correction unit according to the correction amount set by the correction amount setting unit. When an image based on the corrected image data is displayed on the display means, the display control means sets a plurality of points on the object to be in a predetermined shape designated by the position designation means. Auxiliary lines connected so as to have a predetermined shape are superimposed and displayed on the image based on the corrected image data.
[0010]
At this time, if an appropriate correction amount is set and correction is performed with high accuracy, the shape of the object on the image based on the corrected image data and the auxiliary line substantially match, but the set correction amount Is inappropriate, the correction accuracy is low, and the auxiliary line deviates from the shape of the object on the image based on the corrected image data. Therefore, the user can easily visually check the correction accuracy from the superimposed display result. . Therefore, the user can correct the image data by resetting the correction amount so that the optimum correction amount is obtained while checking the correction accuracy.
[0011]
In the image processing apparatus described above, each point may be designated by the position designation unit with respect to the corrected image data, but more preferably, the image data to be corrected (before correction). On the other hand, each point may be designated by the position designation means.
[0012]
In addition, when each point is specified for the image data to be corrected (before correction), the display control unit displays the image data to be corrected on the display unit before correction by the correction unit. The image based on the image is displayed, and the designation by the position designation unit is received. After the designation is received, each point designated by the position designation unit is displayed on the image based on the image data to be corrected. The auxiliary lines connected so as to have a predetermined shape may be superimposed and displayed.
[0013]
In addition, when specifying each point for the image data to be corrected (before correction), the display control unit displays an image based on the image data corrected by the correction unit on the display unit. The position after each point designated by the designation means has been moved by the correction is calculated, and the point after the movement has the predetermined shape on the image based on the corrected image data. Auxiliary lines connected to are superimposed and displayed.
[0014]
By the way, when the user designates a point on the object using the position designation means, there is a possibility that the position of the actually designated point may be deviated from the position of the designated point due to an erroneous operation or a user's habit at the time of operation. There is. For this reason, in the above image processing apparatus, the edge of the image is extracted in the vicinity of each point designated by the position designation unit, and the position of each point is finely adjusted so as to be a point on the extracted edge. An adjustment unit may be further provided so that a user-specified error can be reduced.
[0015]
By the way, it is assumed that the shape of a target object changes for every image data. For this reason, the image processing apparatus further includes a shape setting unit for setting the predetermined shape, and sets the original shape of the object shown in the image based on the image data for each image data. You may be able to do it.
[0016]
According to a second aspect of the present invention, there is provided a digital imaging apparatus that captures a subject image via an optical lens and obtains image data representing the photographed subject image as digital data. And a distortion caused by the optical lens generated in the image data indicating the photographed subject image can be corrected by the image processing apparatus.
[0017]
According to the second aspect of the present invention, the distortion caused by the optical lens generated in the image data indicating the photographed subject image is corrected by the image processing apparatus, so that the user can check the correction accuracy while checking the correction accuracy. Then, it is possible to correct the image data by resetting the correction amount so that the optimal correction amount is obtained, and it is possible to obtain image data indicating the subject image corrected with the optimal correction amount.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Next, an example of an embodiment according to the present invention will be described in detail with reference to the drawings. Hereinafter, a case where the image processing apparatus of the present invention is applied to a digital camera will be described.
[0019]
As shown in FIG. 1, a digital camera 10 according to the present embodiment includes an optical lens 12 for forming a subject image, and a CCD that is disposed behind the optical axis of the optical lens 12 and captures the subject image. (Charge Coupled Device) 14, an A / D converter 16 that converts an input analog signal into a digital signal, an image processing unit 18 that performs predetermined processing on the input digital signal, and generates image data; An image correction unit 20 that corrects distortion included in the image data, a display device 22 as a display means for displaying an image (subject image) mainly captured by the CCD 14 such as an LCD (liquid crystal display), and an operation by a user Operating means 24 and image data for storing image data obtained by photographing with the CCD 14. A recording memory 26, a display image memory 28 such as a VRAM for recording image data to be displayed on the display device 22 (hereinafter referred to as "display image data"), and an image based on the display image data. Auxiliary image memory 30 for recording image data for display (hereinafter referred to as “auxiliary image data”), a coordinate memory 32 for storing the coordinates of designated points on the image, and a digital camera 10 and a control unit 34 that controls the entire operation.
[0020]
Further, in the digital camera 10 of the present embodiment, as the operation means 24, a shutter button 24A that is conventionally provided in the digital camera 10 and that is pressed when instructing execution of shooting is provided. In particular, the present invention relates to a shooting mode for shooting a still image or a moving image, a playback mode for displaying an image based on image data obtained by past shooting on the display device 22 (image playback display), and shooting. A mode selection button 24B that is operated to select one of the image correction modes for correcting the image data obtained by the above, and for specifying a position on the image mainly when the image correction mode is selected. The cursor key 24C that is operated when moving the position of the displayed cursor and the position that is pressed to specify a plurality of positions on the image. A coordinate determination button 24D as specifying means, a correction amount selection button 24E as the correction amount setting means is operated to set the correction amount is provided.
[0021]
Note that the mode selection button 24B, the cursor key 24C, and the coordinate determination button 24D are not necessarily provided with a dedicated button or key on the digital camera. Conventionally, a digital camera is generally used as an operation unit operated by the user. Any of the various buttons and switches provided may function as the mode selection button 24B, the cursor key 24C, and the coordinate determination button 24D.
[0022]
The shutter button 24A, the mode selection button 24B, the cursor key 24C, the coordinate determination button 24D, and the correction amount selection button 24E are connected to the control unit 34. The control unit 34 operates these buttons and keys by the user. The state can be grasped at all times.
[0023]
The control unit 34 is connected to the optical lens 12, the CCD 14, the image processing unit 18, the image correction unit 20, and the display device 22. Depending on the operation state of the above buttons or keys by the user, each of these units is connected. Control the operation. Further, the control unit 34 is also connected to the image data recording memory 26, the display image memory 28, the auxiliary image memory 30, and the coordinate memory 32, and according to the operation state of the above buttons or keys by the user. Controls reading and writing of data to these memories.
[0024]
The optical lens 12 includes a zoom lens group and a focus lens (not shown), and includes a lens moving mechanism that moves each in the optical axis direction, and is configured as a zoom lens that can change (magnify) the focal length. .
[0025]
In the optical lens 12, the zoom lens group is moved in the optical axis direction (focal length variable lens) so as to obtain a desired zoom magnification under the control of the control unit 34, and incident light indicating a subject image that has passed through the lens is incident on the CCD 14. The focus lens is moved in the optical axis direction so as to form an image on the light receiving surface (autofocus (AF) mechanism). As a result, the CCD 14 captures the subject based on the incident light indicating the subject image that has passed through the lens of the optical lens 12 and outputs an analog image signal indicating the subject image.
[0026]
The output end of the CCD 14 is connected so as to be input to the A / D converter 16 after being subjected to correlated double sampling processing by a signal processing unit (not shown) and adjusting the sensitivity for each color of RGB. The output terminal of the A / D converter 16 is connected to the control unit 34. That is, an analog image signal indicating a subject image photographed and output by the CCD 14 is input to the control unit 34 after being converted into a digital image signal by the A / D converter 16. The control unit 34 transfers the input digital image signal to the image processing unit 18.
[0027]
The image processing unit 18 handles the input digital image signal as image data (digital data), performs predetermined digital image processing, for example, various correction processes such as white balance adjustment, gamma correction, sharpness correction, and RGB data as luminance. YC conversion processing for converting the signal Y into chroma signals Cr and Cb (hereinafter referred to as “YC signal”) is performed. The image data processed by the image processing unit 18 is recorded in the image data recording memory 26 after being compressed by the control unit 34 into a predetermined compression method by a compression / decompression unit (not shown). Thereby, in the digital camera 10, image data indicating the photographed subject image is acquired as digital data.
[0028]
In the photographing mode, the control unit 34 displays the moving image on the display device 22 as a so-called through image without recording the image data obtained by continuous imaging by the CCD 40 in the image data recording memory 26. The display device 22 can be used as a finder.
[0029]
In the image reproduction mode, the control unit 34 reads out the image data recorded in the image data recording memory 26, decompresses it by the compression / expansion means, and stores it in the display image memory 28 as display image data. The display device 22 displays an image based on the display image data stored in the display image memory 28. As a result, an image showing a subject image based on the image data after recording in the image data recording memory 26 is reproduced and displayed on the display device 22.
[0030]
Similarly, in the image correction mode, the control unit 34 causes the display device 22 to display an image indicating a subject image based on the image data recorded in the image data recording memory 26 as a correction target. When the image data to be corrected is corrected by the image correction unit 20, the display on the display device 22 is updated to an image based on the corrected image data (hereinafter referred to as “corrected image”). It has become.
[0031]
Here, the image correction unit 20 is provided as correction means of the present invention, and corrects image data indicating a subject image obtained by shooting so as to remove distortion caused by the optical lens at the time of shooting. . Specifically, it is generally known that the distortion rate of the distortion generated on the subject image can be approximated by a multidimensional function of the distance from the image center. For example, assuming that the distance from the image center is d, the distortion rate F (d) can be expressed as the following formula (1).
[0032]
F (d) = α × d⁴+ Β × d²+ Γ ... (1)
Therefore, if the pixel coordinates in the corrected image are (x, y) (x, y are integers), the corresponding coordinates (X, Y) of the image before correction are as shown in the following equation. .
[0033]
(X, Y) = (x × F (d), y × F (d)), d = (x²+ Y²)^1/2
When the image correction unit 20 determines the coordinates (X, Y) of the image before correction corresponding to the coordinates (x, y) of the image after correction in this way, the coordinates (X , Y) can be performed by moving the pixel data in the corrected image to the coordinates (x, y) of the corrected image. Usually, the coordinates (X, Y) of the image before correction obtained by the above equation are adjusted. There is no numerical value, and there is no corresponding pixel data in the image before correction.
[0034]
Therefore, it is necessary to interpolate the pixel data corresponding to the obtained coordinates (X, Y) of the image before correction by interpolation from the existing pixel data in the vicinity of the coordinates (X, Y) of the image before correction. There is. Examples of the interpolation method (interpolation method) in this case include a nearest neighbor interpolation method and a linear interpolation method (bi-linear interpolation).
[0035]
That is, distortion can be corrected by using pixel data obtained by interpolation according to an interpolation method such as nearest neighbor method or linear interpolation method as pixel data of coordinates (x, y) in the corrected image.
[0036]
In addition, the image correction unit 20 stores in advance a plurality of sets (5 sets in the present embodiment) of coefficients α, β, and γ that are parameters representing the above-described multidimensional function so that the correction amounts are different from each other. The control unit 34 causes the image correction unit 20 to select any one of them according to the correction amount set by operating the correction amount selection button 24E, and execute the correction as described above. It is like that. Thus, the image correction unit 20 can correct the image data according to the set correction amount.
[0037]
Further, the control unit 34 superimposes various auxiliary images on the image based on the display image data stored in the display image memory 28, that is, the photographed subject image, and causes the display device 22 to display the OSD (On Screen). Display) function. Specifically, the control unit 34 stores bitmap data indicating an auxiliary image to be superimposed on the auxiliary image memory 30 as auxiliary image data, and puts on the subject image indicating the display image data stored in the display image memory 28. Image data in which the auxiliary image indicated by the auxiliary image data is superimposed is generated, and an image is displayed on the display device 22 based on the image data.
[0038]
With this OSD function, when the image correction mode is selected, the control unit 34 displays a cursor mark (hereinafter referred to as “cursor”) 52 (see FIG. 5) on the subject image, and according to the operation of the cursor key 24C. The display position can be updated at any time by changing the display position of the cursor mark. Further, the cursor position (coordinates on the image) when the coordinate determination button 24D is pressed is recorded in the coordinate memory 32, and the auxiliary line 56 (which connects the recorded points so as to have a predetermined shape) ( (See FIG. 5) can be superimposed on the subject image. That is, in the present embodiment, the control unit 34 has a function as display control means of the present invention.
[0039]
Specifically, in the present embodiment, the coordinate memory 32 can store the positions of two points on the subject image, and the auxiliary line 56 is a straight line with these two points as the start point and the end point. It is displayed superimposed on the image. Further, when the image data is corrected by the image correction unit 20, the coordinates of the start point and the end point are coordinate-converted according to the correction amount at this time, and the auxiliary line 56 to be superimposed is displayed as the start point and the coordinate point after the coordinate conversion. It is changed to a straight line connecting the end points. That is, when the image data is corrected by the image correction unit 20 and the display on the display device 22 is updated to the corrected image, the position of the auxiliary line 56 is also corrected along with this correction, and the corrected image is displayed. Overlaid on top.
[0040]
Next, the operation of the present embodiment will be described. In the following, a case where a subject image is taken with the digital camera 10 and optical distortion correction is performed on the acquired digital image data will be mainly described.
[0041]
The digital camera 10 according to the present embodiment is activated by operating a power switch (not shown). During the activation, the control unit 34 executes a control routine shown in FIG.
[0042]
When the user wants to shoot a subject, he / she operates the mode selection button 24B to select a shooting mode. When the photographing mode is selected, the control unit 34 proceeds from step 100 in FIG. 2 to step 102, and the photographing processing routine shown in FIG. 3 is executed.
[0043]
In the photographing processing routine, as shown in FIG. 3, in step 200, continuous photographing is performed by the CCD 14, and the photographing result is converted from an analog image signal to a digital image signal by the A / D converter 16, and the control unit 34. Is displayed on the display device 22 as a moving image (through image display). The moving image may be displayed after predetermined digital image processing is performed by the image processing unit 18.
[0044]
While confirming the moving image display, the user operates a zoom button (not shown) to instruct zoom-in / out if necessary to change the shooting magnification, determine the composition of the subject, and press the shutter button 24A. Press operation.
[0045]
When the shutter button 24A is pressed, the process proceeds from the next step 202 to step 204, and the subject image (still image) at this time is photographed by the CCD 14, and the photographing result is converted from the analog image signal by the A / D converter 16. It is converted into a digital image signal and input to the control unit 34. Then, in the next step 206, the digital image signal is handled as image data, subjected to predetermined digital image processing by the image processing unit 18, and then recorded in the image data recording memory 26 in step 208. Exit. As described above, in the photographing processing routine, image data indicating the photographed subject image is acquired and stored in the image data recording memory 26.
[0046]
If the user wants to reproduce the image data acquired in this way, the user can operate the mode selection button 24B to select the reproduction mode, and the process proceeds from step 100 to step 104 and step 108 in FIG. Since (not shown) is started, the image data to be reproduced is designated. In the reproduction processing routine, the image data designated from the image data recording memory 26 is read out under the control of the control unit 34, and an image (subject image) based on the image data is displayed on the display device 22 (reproduction display). ).
[0047]
On the other hand, when correcting distortion caused by the optical lens 12 in the acquired image data, the user operates the mode selection button 24B to select an image correction mode.
[0048]
When the image correction mode is selected, the control unit 34 proceeds from step 100 in FIG. 2 to step 104 and step 106, and the image correction processing routine shown in FIG. 4 is started.
[0049]
In the image correction processing routine, in step 250, the image data to be corrected is read from the image data recording memory 26 and stored in the display image memory 28 as display image data. Note that the image data to be corrected is specified by the user, but when the image correction mode is selected immediately after shooting, the image data acquired by the shooting is automatically recorded as image data to be corrected. It may be read from the memory 26. Further, when the image correction mode is selected during image reproduction display, the image data being reproduced may be used as image data to be corrected. In this case, the image data to be corrected is already stored in the display image memory. This processing is omitted because it is stored in No. 28.
[0050]
In the following, as shown in FIG. 5A, on the subject image indicated by the image data to be corrected, an object that should be a straight line (for example, a wall of a building, a sign post, a horizontal line, etc.) It is assumed that 50 is reflected.
[0051]
In the next step 252, bitmap data indicating a cursor mark is stored in the auxiliary image memory 30 as auxiliary image data, and then the subject indicated by the display image data stored in the display image memory 28 in step 254. Image data indicating a state in which the cursor mark indicated by the auxiliary image data stored in the auxiliary image memory 30 is superimposed at a predetermined position on the image is generated, and the generated image data is displayed on the display device 22. As a result, the cursor 52 is superimposed on the subject image shown in FIG. 5A on the display device 22 as shown in FIG. 5B. After the superimposed display, the control unit 34 stands by until the cursor key 24C or the coordinate determination button 24D is pressed.
[0052]
The user confirms the superimposed display result of the display device 22 and presses the cursor key 24C so as to move the cursor 52 to the position of the object 50 that should be a straight line on the subject image.
[0053]
In response to this pressing operation, the control unit 34 proceeds from step 256 to step 258, and changes the position of the cursor on the subject image (cursor position movement) and updates the superimposed display in accordance with the pressing operation. Until the coordinate determination button 24D is pressed, the control unit 34 makes a negative determination in the next step 260, returns to step 256, repeats the same processing, and displays according to the user's operation of the cursor key 24C. The cursor position superimposed on the subject is moved by the device 22.
[0054]
Then, the user operates the cursor key 24C while confirming the superimposed display until the cursor 52 moves onto the object that should be a straight line, and as shown in FIG. When the target object 50 is moved, the coordinate determination button 24D is pressed.
[0055]
When the coordinate determination button 24D is pressed, the control unit 34 proceeds from step 260 to step 262 assuming that a point on the object 50 that should be a straight line is designated, and the cursor position at this time is set to the start point / In order to display the end point mark 54, bitmap data indicating the start point / end point mark 54 is generated, added to the auxiliary image data, and the overlay display is updated. As a result, as shown in FIG. 5D, the display device 22 displays the start point / end point mark 54 superimposed on the subject.
[0056]
As shown by a dotted line in FIG. 1, a fine adjustment unit 40 is further connected to the control unit 34 as fine adjustment means for fine adjustment of the position of a point designated by the user, and the control unit 34 includes a coordinate determination button. When a point on the object 50 is specified by pressing the 24D, the fine adjustment unit 40 is driven, and the fine adjustment unit 40 uses the conventionally known edge extraction technique to specify the point specified by the user. The edge of the image (the boundary between the object and the non-object) may be extracted in the vicinity of, and the position of the designated point may be adjusted on the extracted edge. By automatically adjusting in this way, it is possible to accurately specify a point on the object 50 that should be a straight line regardless of the user's habit or mishandling, thereby reducing a specification error.
[0057]
In addition, the control unit 34 records the coordinates of the cursor position on the subject image at this time in the coordinate memory 32 in the next step 264 simultaneously with the superimposed display of the start point / end point mark 54 in step 262. After that, when this recording is the recording of the first coordinate, the process returns from the next step 266 to step 256, so that the user operates the cursor key 24C in the same way as the first point to display FIG. As shown, the position of the cursor 52 is moved, and the coordinate determination button 24D is pressed to designate another point on the object 50 that should be a straight line. That is, two points on the object that should be a straight line are designated. In addition, it is preferable that the user preferably informs the user by displaying a message on the display device 22 or the like in the vicinity of both ends of the object 50 that should be a straight line. .
[0058]
In this way, when the second point on the object that should be a straight line is designated, the display device 22 displays the start point / end point for the second point on the subject as shown in FIG. A mark 54 is superimposed and displayed. Further, the coordinates of the second point are also recorded in the coordinate memory 32.
[0059]
When the coordinates of the second point are recorded, the process proceeds from step 266 to step 268 to generate bitmap data indicating a straight line connecting the designated two points, and add to the auxiliary image data for superimposition. Update the display. As a result, as shown in FIG. 5G, an auxiliary line (straight line) 56 is further superimposed between the two start / end points 54 superimposed on the subject image, and the start / end point mark 54 is superimposed on the subject image. An auxiliary line (straight line) 56 connecting the gaps is drawn.
[0060]
The user compares the target object 50 that should be a straight line with the auxiliary line (straight line) 56 from the display result, and if the auxiliary line 56 does not match the shape of the target object 50, the auxiliary line 56 and the target line are compared. It can be determined that distortion having a magnitude corresponding to the deviation from the object 50 has occurred in the image data. That is, the user can visually confirm the presence or absence of distortion occurring in the image data and the size of the distortion when there is distortion.
[0061]
When the user determines that there is no distortion in the image data, the user inputs a correction end instruction by pressing the mode selection button 24B. In response to this, the control unit 34 proceeds from step 270 to step 282 to be described later through step 280.
On the other hand, when the user confirms that there is distortion in the image data, the user presses the correction amount selection button 24E and designates the correction amount according to the size of the distortion. In the present embodiment, with the correction amount selection button 24E, the correction amount can be specified by selecting up or down of the correction amount currently selected, and the correction amount currently selected by one operation. The next largest or smaller correction amount is designated. In the present embodiment, the minimum correction amount is designated by the first pressing operation of the correction amount selection button 24E.
[0062]
When the correction amount selection button 24E is pressed, the control unit 34 proceeds from the next step 270 to step 272, and reads again the image data to be corrected read out in the above-described step 250 from the image data recording memory 26. Then, the image data read out with the correction amount selected by the pressing operation is corrected, and in step 274, the corrected image data is stored as display image data in the display image memory 28 (overwritten).
[0063]
Subsequently, in step 276, the coordinates of the two points recorded in the coordinate memory 32, that is, the two points designated in the image data to be corrected are coordinate-converted according to the selected correction amount and designated. The position in the corrected image data corresponding to each point is obtained. In step 278, the position of the start / end point mark 54 is moved to the position of the two points after the coordinate conversion, and the auxiliary line 56 is changed to a straight line connecting the two points after the coordinate conversion. After changing the content of the auxiliary image data stored in the memory 30 and updating the superimposed display, the process returns from the next step 280 to step 270 until the mode selection button 24B is pressed.
[0064]
As a result, as shown in FIG. 5 (H), the display device 22 has two starting points indicating the two points of the object 50 that should be a straight line on the subject image displayed based on the corrected image data. The end point mark 54 is moved to a corresponding position in the corrected image data, and a straight line is superimposed and displayed as an auxiliary line 56 so as to connect the two points after the movement.
[0065]
At this time, if an appropriate correction amount is set and correction is performed with high accuracy, the shape of the object 50 on the subject image displayed based on the corrected image data and the auxiliary line 56 substantially coincide. However, when the set correction amount is inappropriate, the correction accuracy is low, and the auxiliary line 56 is displayed with a deviation from the shape of the object 50 on the image based on the corrected image data. Therefore, the user can visually check whether or not the distortion is eliminated by the correction by comparing the corrected target object 50 and the auxiliary line (straight line) 56 from the display result.
[0066]
When the user determines that the correction accuracy is low, that is, the distortion still remains after the correction, the user presses the correction amount selection button 24E to change the correction amount. In response to this, the control unit 34 performs the same processing as described above, corrects the image data in accordance with the changed correction amount, and the display device 22 uses the corrected image data with the changed correction amount. The corresponding position in the corrected image data after the correction with the correction amount changed by the start point / end point mark 54 indicating the two points of the target object 50 that should be a straight line is moved on the displayed subject image, In addition, an auxiliary line (straight line) 56 is superimposed and displayed so as to connect the two points after the movement.
[0067]
The user thus changes the setting of the correction amount by operating the correction amount selection button 24E, confirms the correction result based on the correction amount set from the display result of the display device 22, and determines that the distortion has been eliminated, A correction end instruction is input by pressing the selection button 24B.
[0068]
In response to the pressing operation of the mode selection button 24B, the control unit 34 proceeds from step 280 to step 282, and records the display image data in the display image memory 28 in the image data recording memory 26 as corrected image data. . The corrected image data may be stored separately from the correction target image data read in step 250 of the image data recording memory 26, or may be overwritten and stored on the correction target image data. Good. In the next step 284, the record in the coordinate memory 32 is erased (cleared), and the image correction processing routine is terminated.
[0069]
As described above, in this embodiment, after the user designates two points on the object 50 that should be a straight line in the image (subject image) based on the image data to be corrected, the image data The correction is performed according to the set correction amount, and the coordinates of the two specified points are converted to obtain the position of each point after movement by the correction, and the position is moved onto the subject image based on the corrected image data. Auxiliary lines 56 that are linearly connected between the latter two points are superimposed and displayed on the display device 22. From this superimposed display result, the user can easily visually confirm the presence or absence of distortion remaining in the corrected image data, and the size of the distortion when the distortion remains. If this is not solved, the correction amount setting can be changed and the correction can be executed again, so that the distortion of the image data can be corrected while checking the correction accuracy.
[0070]
In the present embodiment, when two points on the object 50 that should be a straight line on the image (subject image) based on the image data to be corrected are designated, that is, the object that should be a straight line by the user. Although the case where the designation work for designating two points on 50 is performed on the image data to be corrected (before correction) has been described as an example, this designation work is performed on the image data after correction. May be.
[0071]
That is, on the image based on the corrected image data, the user is allowed to specify two points on the object 50 that should be a straight line, and the auxiliary line 56 that connects the two specified points in a straight line is corrected. The image may be superimposed on the subject image based on the image data. As described above, when the user performs the designation operation on the corrected image data, the coordinate conversion process for each designated point becomes unnecessary, and the load on the apparatus side can be reduced. However, even if the image data is the same, every time the correction amount is changed, it is necessary to perform a designated operation on the corrected image data corresponding to the correction amount, which increases the work burden on the user. As in the embodiment, it is preferable to perform the designation work on the image data before correction.
[0072]
In addition, since the designation operation is performed on the image data before correction, as described above, the auxiliary line that linearly connects the two specified points on the subject image based on the image data to be corrected. 56 can be displayed on the display device 22 in a superimposed manner, and the user can visually confirm the presence or absence of distortion occurring in the image data to be corrected from the superimposed display and determine whether or not to correct. be able to. In addition, when there is distortion, the magnitude of the distortion can be visually confirmed, so that the correction amount can be set according to the magnitude of the distortion.
[0073]
In this embodiment, the user designates two points on the object 50 that should be a straight line on the subject image as the start point and the end point, and the auxiliary line 56 is a straight line connecting the two points. Although the case where superimposed display is performed has been described as an example, the present invention is not limited to this, and it is essential that the original shape of the object is superimposed and displayed on the subject image. That is, if the shape of the object is known, the number of points for specifying the position and the shape drawn by the auxiliary line 56 connecting the specified points may be changed according to the shape.
[0074]
For example, when the original shape of the object is a polygon such as a triangle or a quadrangle, the user is allowed to specify the vertex of the polygon on the subject image, and the specified vertex is connected by the auxiliary line 56. Draw a polygon. Further, for example, if the original shape of the target object is a circle, the user is allowed to specify at least three points that should be on the circumference on the subject image, and each designated point is placed as the auxiliary line 56. Just draw a circle like this.
[0075]
By the way, the user does not photograph the same object every time, but the shape of the object differs for each image data. For this reason, as shown by a dotted line in FIG. 1, a shape designation button 24F is provided as a shape setting means, and the original shape of the object shown in the image based on the image data is set for each image data by the user. You may enable it to designate by operation of 24F. In this case, when the shape is designated by the user's operation of the shape designation button 24F, it is necessary to designate it to the user by displaying a message indicating the number of points necessary for drawing the shape on the display device 22. It is good to inform the score. When the user has designated the required number of points, the auxiliary line 56 connecting the points may be superimposed and displayed on the subject image so that the shape designated by the operation of the shape designation button 24F is obtained. .
[0076]
The shape designation button 24F is not necessarily provided with a dedicated button on the digital camera, and is any one of various buttons and switches that are conventionally provided in a digital camera as an operation means operated by a user. May function as the shape designation button 24F.
[0077]
In addition, a plurality of shapes may be drawn by the auxiliary line 56 on the subject image. For example, when two objects that should be straight lines are shown in the subject image, the user is allowed to specify the start point and end point of each of the two lines, and the specified start points and end points are connected to each other. The auxiliary line (straight line) 56 may be superimposed and displayed on the subject image, and two straight lines may be drawn on the subject image. In this case, the plurality of shapes drawn by the auxiliary lines 56 on the subject image may be the same shape or a combination of different shapes.
[0078]
Further, the number of points to be specified may be more than the number that can define the shape of the object. For example, two or more points may be specified if the shape of the object is a straight line, and three or more points may be specified in the case of a circle. In addition, when more points than the minimum necessary number are specified to define the shape of the object, for example, when the shape of the object is a straight line, 3 points or more are specified, and when it is a circle, 4 points or more are specified. In this case, the shape may not be drawn by the auxiliary line 56 when the points are simply connected due to a user's mishandling or the like. In such a case, even if each designated point does not necessarily appear on the auxiliary line 56, the error is minimized by the least square method or the like, and the shape is drawn by the auxiliary line 56. This also has an effect of reducing the influence of the designation error by the user.
[0079]
In the above description, the image processing apparatus of the present invention is applied to a digital camera and the digital camera 10 including the image processing apparatus is described as an example. However, the present invention is not limited to this, and the present invention is not limited thereto. The image data corrected by the image processing apparatus is not limited to image data obtained by photographing with a digital camera. For example, in addition to a digital camera, the present invention can be applied to image processing software that operates with a scanner and a computer. Further, the image processing apparatus of the present invention may be configured as an apparatus physically different from a computer on which these digital camera, scanner, and image processing software operate.
[0080]
【The invention's effect】
As described above, the present invention has an excellent effect that the distortion of the image data can be corrected while checking the correction accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an electric system of a digital camera according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a control routine executed by the control unit of the digital camera according to the embodiment of the present invention (main routine).
FIG. 3 is a flowchart (subroutine) showing an imaging processing routine executed by the control unit of the digital camera according to the embodiment of the present invention.
FIG. 4 is a flowchart (subroutine) showing an image correction processing routine executed by the control unit of the digital camera according to the embodiment of the present invention.
FIGS. 5A to 5H are diagrams showing display changes of the display device when an image correction processing routine is executed.
[Explanation of symbols]
10 digital cameras
12 optical lenses
14 CCD
18 image processing unit
20 image correction unit
22 display devices
24A shutter button
24B mode selection button
24C cursor key
24D coordinate determination button
24E Correction amount selection button
24F shape designation button
26 image data recording memory
28 display image memory
30 auxiliary image memory
32 coordinate memory
34 control unit
40 fine adjustment section
50 objects
52 cursor mark
54 start / end mark
56 auxiliary lines

Claims

Display means for displaying an image based on the image data;
Correction amount setting means for setting a correction amount for correcting distortion of the image data;
Correction means for correcting distortion of the image data in accordance with the correction amount set by the correction amount setting means;
Position designation means for designating positions of a plurality of points on an object to be in a predetermined shape on an image based on the image data;
When displaying an image based on image data corrected by at least the correction unit on the display unit, auxiliary lines that connect the points designated by the designation unit so as to have the predetermined shape are displayed on the image. Display control means for controlling the display of the display means so as to be superimposed,
An image processing apparatus comprising:

A digital imaging device that captures a subject image via an optical lens and obtains image data indicating the captured subject image as digital data,
The image processing apparatus according to claim 1.
The image processing apparatus can correct distortion caused by the optical lens generated in image data indicating the photographed subject image.
A digital imaging device characterized by that.