JP2007148612A - 撮影装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】 より短時間で、かつ高精度で撮影対象物の輪郭を検出する。
【解決手段】 圧縮部１５−１は、撮像部１０により撮影された元画像を圧縮し、縮小画像を生成する。輪郭検出部１５−２は、縮小画像の輝度情報から輪郭を検出する。特異点抽出部１５−３は、輪郭から縮小画像の複数の特異点（頂点）を抽出する。特異点検索部１５−４は、上記縮小画像の複数の特異点を略中心とする複数の矩形領域を検索し、元画像から四隅の角部に相当する複数の特異点を特定する。輪郭生成部１５−５は、元画像の複数の特異点の座標をつなぎ合わせて輪郭を生成する。歪補正部１５−６は、元画像の輪郭に従って回転処理、拡大処理、縮小処理などを組み合わせて元画像の歪みを補正する。
【選択図】 図１

Description

本発明は、撮影装置、画像処理方法および画像処理プログラムに関する。

近年、デジタルカメラの発達と蓄積型メモリの低価格化に伴い、デジタルカメラを単なる風景や人の撮影だけに用いるのではなく、紙面文書や名刺などの書類、また、会議での筆記された黒板等に表示されたものを撮影し、これらの画像をパーソナルコンピュータ等にデジタル的に保存し、管理をおこなう応用が考えられつつある。また、原稿台に置かれた書類を光学的に読み取り、スクリーン上に投影するプロジェクタなどが知られている。

このようなデジタルカメラやプロジェクタなどにおいて、原稿台の書類や黒板の撮影を行う場合、その撮影対象物を正面かつ垂直に撮影することが望ましい。しかし、原稿台や机上におかれた書類を正面かつ垂直に撮影することは困難である。また、黒板を撮影する場合も、撮影者の位置によって、黒板を正面から撮影することが難しい場合もある。また、正面から撮影できたとしても、ライトの映り込みなどの理由で正面から撮影するのを避けた方が好ましい場合もある。このように書類などの対象物を斜め方向から撮影した場合、文字等が斜め、または台形に歪む。もちろん、これらの文字の判読は可能である。しかし、判読できたとしても、読むには非常に疲れやすいものである。またこれらの画像は歪みをもっているので、この画像を再利用することも難しい。

このような不具合を解消するものとして、例えば、２つの視差のある画像を用いて画像の歪みを補正する技術が提案されている（例えば、特許文献１参照）。この画像処理部は、２枚以上の画像に対して視差がなくなるように画像変換を行って貼り合わせることによって合成した補正画像を作成する。そして、画像合成部が、作成された補正画像を画像メモリに記憶させる。

また、より容易に撮影した画像を補正する方法として、撮影対象物として白板を撮影した画像から、Ｒｏｂｅｒｔｓフィルタを用いて輪郭を検出し、該輪郭から白板の画像を形成する候補となる直線を検出し、白板の四角形の形状を取得し、その四角形の頂点位置から、白板の画像と実際の白板との関係を示す射影パラメータを求めて白板の画像を射影変換する技術が提案されている（例えば、特許文献２参照）。
特開２００１−１３４７５１号公報（第５頁、図１） 特開２００５−１２２３２７号公報

しかしながら、上述した特許文献１にかかる従来技術では、もう一度、画像編集を行う場合、画像メモリに記憶した補正画像を編集すると、画像が劣化するという問題がある。また、補正前の元画像を再度、補正しようとすれば、元画像と補正画像とを画像メモリに記憶する必要があるし、元画像に対して同じような画像処理を繰り返す必要がある。

また、上述した特許文献２に係る従来技術では、撮影した撮影対象物の輪郭を検出する際に、撮影した高解像度の元画像に対して処理を実施するため、処理に非常に時間がかかるという問題があった。また、処理を速めるために高解像度でない画像を用いると、輪郭検出の精度が落ちるという問題があった。

そこで本発明は、より短時間で、かつ高精度で撮影対象物の輪郭を検出することができる撮影装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による撮影装置は、撮影対象物を撮影する撮影装置において、前記撮影対象物を撮影する撮像手段と、前記撮像手段によって撮影された撮像画像を前記撮影対象物の元画像として記憶する記憶手段と、前記元画像を縮小して縮小画像を生成する縮小手段と、前記縮小手段によって生成された縮小画像の輪郭を検出する輪郭検出手段と、前記輪郭検出手段によって検出された縮小画像の輪郭から複数の特異点を抽出する縮小画像特異点抽出手段と、前記縮小画像特異点抽出手段によって抽出された、前記縮小画像の複数の特異点に基づいて、前記元画像の複数の特異点を抽出する元画像特異点抽出手段と、前記元画像特異点抽出手段によって抽出された、前記元画像の複数の特異点に基づいて、前記元画像の輪郭を生成する元画像輪郭生成手段とを具備することを特徴とする。

また、好ましい態様として、例えば請求項２記載のように、請求項１記載の撮影装置において、前記元画像特異点抽出手段は、前記縮小画像の複数の特異点を略中心とする部分を拡大した際の誤差範囲を考慮した複数の矩形領域を検索範囲として設定し、該検索範囲を検索することで、前記縮小画像の複数の特異点に対応する、前記元画像の複数の特異点を抽出するようにしてもよい。

また、好ましい態様として、例えば請求項３記載のように、請求項１または２記載の撮影装置において、前記元画像の輪郭が所定の誤差範囲を超えて歪んでいるか否かを判定する判定手段と、前記判定手段により元画像の輪郭が所定の誤差範囲を超えて歪んでいると判定された場合、元画像の歪みを補正する歪補正手段とを具備するようにしてもよい。

また、好ましい態様として、例えば請求項４記載のように、請求項３記載の撮影装置において、前記歪補正手段によって補正された元画像を表示する表示手段を具備するようにしてもよい。

また、好ましい態様として、例えば請求項５記載のように、請求項４記載の撮影装置において、前記表示手段は、元画像を前記歪補正手段によって補正してスクリーンに表示する投射手段であってもようにしてもよい。

また、上記目的達成のため、請求項６記載の発明による画像処理方法は、撮影対象物を撮影することによって得られた前記撮影対象物の元画像の歪みを補正するように、前記撮影対象物の元画像に対して画像処理を行う画像処理方法であって、前記元画像を縮小して縮小画像を生成するステップと、前記縮小画像の輪郭を検出するステップと、前記縮小画像の輪郭から複数の特異点を抽出するステップと、前記縮小画像の複数の特異点に基づいて、前記元画像の複数の特異点を抽出するステップと、前記元画像の複数の特異点に基づいて、前記元画像の輪郭を生成するステップとを含むことを特徴とする。

また、上記目的達成のため、請求項７記載の発明による画像処理プログラムは、コンピュータに、撮影対象物を撮影することによって得られた前記撮影対象物の元画像を縮小して縮小画像を生成する縮小画像生成機能と、前記縮小画像の輪郭を検出する輪郭検出機能と、前記縮小画像の輪郭から複数の特異点を抽出する縮小画像特異点抽出機能と、前記縮小画像の複数の特異点に基づいて、前記元画像の複数の特異点を抽出する元画像特異点抽出機能と、前記元画像の複数の特異点に基づいて、前記元画像の輪郭を生成する元画像輪郭生成機能と、前記元画像の複数の特異点に基づいて、前記元画像の輪郭を生成する元画像輪郭生成機能とを実現させることを特徴とする。

請求項１記載の発明によれば、撮像手段によって撮影された撮像画像を撮影対象物の元画像として記憶手段に記憶し、縮小手段により、元画像を縮小して縮小画像を生成し、輪郭検出手段により、縮小画像の輪郭を検出し、縮小画像特異点抽出手段により、検出された縮小画像の輪郭から複数の特異点を抽出し、元画像特異点抽出手段により、縮小画像の複数の特異点に基づいて、元画像の複数の特異点を抽出し、元画像輪郭生成手段により、元画像の複数の特異点に基づいて当該元画像の輪郭を生成するようにしたので、より短時間で、かつ高精度で撮影対象物の輪郭を検出することができるという利点が得られる。

また、請求項２記載の発明によれば、元画像特異点抽出手段により、縮小画像の複数の特異点を略中心とする部分を拡大した際の誤差範囲を考慮した複数の矩形領域を検索範囲として設定し、該検索範囲を検索することで、縮小画像の複数の特異点に対応する、元画像の複数の特異点を抽出するようにしたので、より短時間で、かつ高精度で撮影対象物の輪郭を検出することができるという利点が得られる。

また、請求項３記載の発明によれば、判定手段により、元画像の輪郭が所定の誤差範囲を超えて歪んでいるか否かを判定し、元画像の輪郭が所定の誤差範囲を超えて歪んでいると判定された場合、歪補正手段により、元画像の歪みを補正するようにしたので、より短時間で、かつ高精度で撮影対象物の輪郭を検出することができ、さらに、該輪郭の歪みを補正することができるという利点が得られる。

また、請求項４記載の発明によれば、歪補正手段によって補正された元画像を表示手段に表示するようにしたので、より短時間で、かつ高精度で輪郭を検出し、該輪郭の歪みを補正した撮影対象物を表示することができるという利点が得られる。

また、請求項５記載によれば、表示手段として、投射手段により、元画像を前記歪補正手段によって補正してスクリーンに表示するようにしたので、より短時間で、かつ高精度で輪郭を検出し、該輪郭の歪みを補正した撮影対象物をスクリーン上に表示することができるという利点が得られる。

また、請求項６記載の発明によれば、前記元画像を縮小して縮小画像を生成するステップと、前記縮小画像の輪郭を検出するステップと、前記縮小画像の輪郭から複数の特異点を抽出するステップと、前記縮小画像の複数の特異点に基づいて、前記元画像の複数の特異点を抽出するステップと、前記元画像の複数の特異点に基づいて、前記元画像の輪郭を生成するステップとを含むようにしたので、より短時間で、かつ高精度で撮影対象物の輪郭を検出することができるという利点が得られる。

また、請求項７記載の発明によれば、撮影対象物を撮影することによって得られた前記撮影対象物の元画像を縮小して縮小画像を生成する縮小画像生成機能と、前記縮小画像の輪郭を検出する輪郭検出機能と、前記縮小画像の輪郭から複数の特異点を抽出する縮小画像特異点抽出機能と、前記縮小画像の複数の特異点に基づいて、前記元画像の複数の特異点を抽出する元画像特異点抽出機能と、前記元画像の複数の特異点に基づいて、前記元画像の輪郭を生成する元画像輪郭生成機能と、前記元画像の複数の特異点に基づいて、前記元画像の輪郭を生成する元画像輪郭生成機能とを実現させるようにしたので、より短時間で、かつ高精度で撮影対象物の輪郭を検出することができるという利点が得られる。

以下、本発明の実施の形態を、図面を参照して説明する。なお、本実施形態では、画像処理装置を適用した撮影装置をデジタルカメラとして説明する。

Ａ．実施形態の構成
図１は、本発明の実施形態によるデジタルカメラの略構成を示すブロック図である。本実施形態に係るデジタルカメラ１は、撮影対象物として、原稿台の原稿や白板等の文字、図、写真等を撮影し、撮影によって得られた画像から、画像の歪みを検出して補正し、斜めに置かれた原稿をあたかもまっすぐ置かれたような画像を生成したり、あたかも正面から撮影したような画像を生成したりするものである。

図において、撮像部１０は、光を集光するレンズ等を備え、撮影対象物を高解像度で撮影して画像データ（元画像）を生成する。画像メモリ１１は、撮影された撮影対象物の高解像度の画像データ（元画像）を記憶するとともに、該元画像の縮小（低解像度）画像データ（縮小画像）などを記憶する。

プログラムメモリ１２は、後述するＣＰＵ１６により実行されるプログラムなどが記憶する。操作部１３は、撮影対象を撮影するときに押下されるシャッタボタンや、メニューボタン、十字キーなど各種ボタンからなる。表示部１４は、液晶表示器などからなり、撮影前のプレビュー画像や、撮影した元画像、後述する補正処理後の画像などを表示する。

画像処理部１５は、画像メモリ１１に一時記憶された画像データに対して、画像データの圧縮、画像の歪み補正、画像効果処理等の画像処理を行うためのものであり、圧縮部１５−１、輪郭検出部１５−２、特異点抽出部１５−３、特異点検索部１５−４、輪郭生成部１５−５および歪補正部１５−６を備えている。

圧縮部１５−１は、画像メモリ１１に記憶された元画像を圧縮し、縮小画像を生成する。輪郭検出部１５−２は、縮小画像の輝度情報から、撮影対象物のエッジ画像を生成し、該エッジ画像に従って、縮小画像の輪郭を検出する。特異点抽出部１５−３は、輪郭検出部１５−２により検出された輪郭情報から縮小画像の複数の特異点（頂点）を抽出する。特異点検索部１５−４は、上記縮小画像の複数の特異点を略中心とする部分を拡大した際の誤差範囲を考慮した複数の矩形領域を検索範囲として設定し、該検索範囲を検索することで、元画像から四隅の角部に相当する複数の特異点を特定する。

輪郭生成部１５−５は、元画像の複数の特異点の座標をつなぎ合わせて、該元画像の輪郭を生成する。歪補正部１５−６は、元画像の輪郭に従って回転処理、拡大処理、縮小処理などを組み合わせて元画像の歪みを補正する。

ＣＰＵ１６は、プログラムメモリ１２に記憶されているプログラムを実行して上述した各部の動作を制御する。

Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。ここで、図２は、本実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。また、図３は、本実施形態によるデジタルカメラ１の動作を説明するための概念図である。

まず、シャッタボタンが押下されると、撮像部１０により、高解像度で撮影対象物を撮影し（ステップＳ１０）、元画像として画像メモリ１１に記憶する（ステップＳ１２）。次に、画像処理部１５の圧縮部１５−１により、上記元画像を圧縮し、縮小画像を生成し、画像メモリ１１に記憶する（ステップＳ１４）。

次に、画像処理部１５の輪郭検出部１５−２により、縮小画像の輪郭を検出する（ステップＳ１６）。該縮小画像の輪郭ＯＬＳは、例えば、図３（ａ）に示すような点線で示されるものとする。次に、図３（ｂ）に示すように、該縮小画像の輪郭ＯＬＳから四隅の角部に相当する特異点（の座標）ＰＳ１〜ＰＳ４を抽出する（ステップＳ１８）。

このように、撮影対象物の大まかな輪郭ＯＬＳ、特異点ＰＳ１〜ＰＳ４を縮小画像から検出することによって短時間で処理することが可能となる。但し、縮小画像から検出しているため、精度の点では劣る。そこで、元画像に対して以下の処理を行う。

次に、図３（ｃ）に示すように、上記特異点ＰＳ１〜ＰＳ４の座標を略中心とする部分を拡大した際の誤差範囲を考慮した矩形領域Ａ１〜Ａ４を検索範囲として設定し、特異点検索部１５−４により上記検索範囲を検索することで、図３（ｃ）に示すように、元画像から四隅の角部に相当する特異点Ｐ１〜Ｐ４を特定する（ステップＳ２０）。このように、元画像から高精度で撮影対象物の特異点Ｐ１〜Ｐ４が検出することが可能となる。次に、輪郭生成部１５−５により、これら特異点Ｐ１〜Ｐ４の座標をつなぎ合わせて、図３（ｃ）に示すように、元画像の輪郭ＯＬを高精度で生成する（ステップＳ２２）。
なお、上述した本実施形態による特異点、輪郭の検出動作は、特開２００５−１２２３２７号公報に詳しいので参照されたい。

次に、上述した元画像から得られた輪郭ＯＬに従って歪みなどを補正する補正処理が必要であるか否かを判断する（ステップＳ２４）。補正処理が必要であるか否かは、元画像の輪郭ＯＬの歪みが、予め設定しておいた誤差範囲を超えているか否かで判定する。そして、補正処理が必要であると判断された場合には、歪補正部１５−６により、図３（ｄ）に示すように、回転処理、拡大処理、縮小処理などを組み合わせて元画像の歪みを補正する（ステップＳ２６）。そして、補正後の元画像を表示部１４に表示して当該処理を終了する（ステップＳ２８）。

一方、元画像の輪郭が、予め設定しておいた誤差範囲を超えておらず、補正処理が不要であると判断された場合には、補正処理を行うことなく、元画像を表示部１４に表示して当該処理を終了する（ステップＳ２８）。

なお、上述した実施形態においては、画像処理部１５が、圧縮部１５−１、輪郭検出部１５−２、特異点抽出部１５−３、特異点検索部１５−４、輪郭生成部１５−５および歪補正部１５−６を備えるものとしたが、これらはソフトウェア（プログラム）によって実現されてもよい。また、デジタルカメラへの適用について説明したが、これに限らず、原稿台に置かれた原稿をスクリーン上に投影するプロジェクタなどにも適用可能であることは言うまでもない。この場合、表示部１４に代えて、光源、色フィルタ、ミラー、液晶等から構成された投光装置を用いればよい。

本発明の実施形態によるデジタルカメラの略構成を示すブロック図である。 本実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。 本実施形態によるデジタルカメラ１の動作を説明するための概念図である。

符号の説明

１ デジタルカメラ
１０ 撮像部（撮像手段）
１１ 画像メモリ（記憶手段）
１２ プログラムメモリ
１３ 操作部
１４ 表示部（表示手段、投射手段）
１５ 画像処理部
１５−１ 圧縮部（縮小手段）
１５−２ 輪郭検出部（輪郭検出手段）
１５−３ 特異点抽出部（縮小画像特異点抽出手段）
１５−４ 特異点検索部（元画像特異点抽出手段）
１５−５ 輪郭生成部（元画像輪郭生成手段）
１５−６ 歪補正部（判定手段、歪補正手段）
１６ ＣＰＵ
Ａ１〜Ａ４ 矩形領域
ＯＬ 元画像の輪郭
ＯＬＳ 縮小画像の輪郭
Ｐ１〜Ｐ４ 元画像の特異点
ＰＳ１〜ＰＳ４ 縮小画像の特異点

Claims (7)

1. 撮影対象物を撮影する撮影装置において、
   前記撮影対象物を撮影する撮像手段と、
   前記撮像手段によって撮影された撮像画像を前記撮影対象物の元画像として記憶する記憶手段と、
   前記元画像を縮小して縮小画像を生成する縮小手段と、
   前記縮小手段によって生成された縮小画像の輪郭を検出する輪郭検出手段と、
   前記輪郭検出手段によって検出された縮小画像の輪郭から複数の特異点を抽出する縮小画像特異点抽出手段と、
   前記縮小画像特異点抽出手段によって抽出された、前記縮小画像の複数の特異点に基づいて、前記元画像の複数の特異点を抽出する元画像特異点抽出手段と、
   前記元画像特異点抽出手段によって抽出された、前記元画像の複数の特異点に基づいて、前記元画像の輪郭を生成する元画像輪郭生成手段と
   を具備することを特徴とする撮影装置。
2. 前記元画像特異点抽出手段は、前記縮小画像の複数の特異点を略中心とする部分を拡大した際の誤差範囲を考慮した複数の矩形領域を検索範囲として設定し、該検索範囲を検索することで、前記縮小画像の複数の特異点に対応する、前記元画像の複数の特異点を抽出することを特徴とする請求項１記載の撮影装置。
3. 前記元画像の輪郭が所定の誤差範囲を超えて歪んでいるか否かを判定する判定手段と、
   前記判定手段により元画像の輪郭が所定の誤差範囲を超えて歪んでいると判定された場合、元画像の歪みを補正する歪補正手段と
   を具備することを特徴とする請求項１または２記載の撮影装置。
4. 前記歪補正手段によって補正された元画像を表示する表示手段を具備することを特徴とする請求項３記載の撮影装置。
5. 前記表示手段は、元画像を前記歪補正手段によって補正してスクリーンに表示する投射手段であることを特徴とする請求項４記載の撮影装置。
6. 撮影対象物を撮影することによって得られた前記撮影対象物の元画像の歪みを補正するように、前記撮影対象物の元画像に対して画像処理を行う画像処理方法であって、
   前記元画像を縮小して縮小画像を生成するステップと、
   前記縮小画像の輪郭を検出するステップと、
   前記縮小画像の輪郭から複数の特異点を抽出するステップと、
   前記縮小画像の複数の特異点に基づいて、前記元画像の複数の特異点を抽出するステップと、
   前記元画像の複数の特異点に基づいて、前記元画像の輪郭を生成するステップと
   を含むことを特徴とする画像処理方法。
7. コンピュータに、
   撮影対象物を撮影することによって得られた前記撮影対象物の元画像を縮小して縮小画像を生成する縮小画像生成機能と、
   前記縮小画像の輪郭を検出する輪郭検出機能と、
   前記縮小画像の輪郭から複数の特異点を抽出する縮小画像特異点抽出機能と、
   前記縮小画像の複数の特異点に基づいて、前記元画像の複数の特異点を抽出する元画像特異点抽出機能と、
   前記元画像の複数の特異点に基づいて、前記元画像の輪郭を生成する元画像輪郭生成機能と、
   前記元画像の複数の特異点に基づいて、前記元画像の輪郭を生成する元画像輪郭生成機能と
   を実現させることを特徴とする画像処理プログラム。
   

Images