JP2000200344A - 画像処理装置および画像処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本の紙面などのような立体感のある画像をデ
ジタルカメラにより撮像したときの歪みや煽りを補正す
る。 【解決手段】 画像データを複数のブロックに分け各ブ
ロックにおける合焦位置とその画像データとを取得す
る。取得された合焦位置に基づき原稿の煽りや歪みを識
別し、それに基づき各ブロックの画像データを補正し、
接続する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は画像処理装置およ
び画像処理プログラムを記録した記録媒体に関し、特に
デジタルカメラに備えられ、本などを撮影したときにそ
の画像の歪みや煽りを補正する画像処理装置および画像
処理プログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】図２２は、デジタルカメラ１とデジタル
カメラ１により撮影される文字原稿である本２を示す図
である。本２を開いて撮影する場合、図２３に示される
ように紙面に歪みが発生する。このような場合本２をデ
ジタルカメラ１でそのまま撮影すると、得られる原稿画
像は図２４のようになる。

【０００３】さらに、デジタルカメラなどは撮影位置の
自由度が高いため、図２５に示されるようにデジタルカ
メラ１の光軸と本２の紙面とが垂直でない場合が多い。
このような場合には、図２６に示されるように得られる
画像に煽りが生じる。

【０００４】

【発明が解決しようとする課題】このような歪みや煽り
といった幾何学的変形によって、撮像された文字の位置
毎に、行間サイズや文字サイズが異なり読みづらくなっ
てしまう場合がある。また、画像データに基づいてＯＣ
Ｒ（オプチカルキャラクタリーダ）を用いた文字認識を
行なう場合に、歪みや煽りなどによって文字の誤認識が
生じやすい。また、光軸方向に対して原稿が傾いている
場合、１枚の画像を撮像するだけでは原稿のすべての面
にピントが合わないという問題もある。さらに、歪みや
煽りにより、原稿中の文字領域や写真領域など本来は矩
形形状であることが多い領域が矩形でなくなってしまう
ことがある。文字領域や写真領域毎に適切な圧縮方法や
補正方法を選択する画像処理方法を行なう場合、領域の
判断は矩形を単位として行なわれることが多いため、歪
みや煽りにより不具合が生じることがある。

【０００５】そこでこの発明は得られた画像の幾何学的
変形を取り除くことができる画像処理装置および画像処
理プログラムを記録した記録媒体を提供することを目的
としている。

【０００６】

【課題を解決するための手段】上記目的を達成するため
この発明のある局面に従うと画像処理装置は、撮像対象
物を２以上のそれぞれ異なるピント位置で撮像すること
により、２以上の画像を取得する第１の取得手段と、２
以上の画像のそれぞれにおいてピントの合っている部分
を含む領域を検出する検出手段と、検出された領域の画
像と、ピント位置と、検出された領域の位置とに基づい
て、補正された撮像対象物の画像を取得する第２の取得
手段とを備える。

【０００７】好ましくは第２の取得手段は、検出された
領域の画像と、検出された領域の位置とに基づいて、撮
像対象物の全体にピントの合った１枚の画像を取得する
第３の取得手段と、ピント位置と、検出された領域の位
置とに基づいて、第３の取得手段により取得された画像
を補正する補正手段とを含む。

【０００８】この発明の他の局面に従うと画像処理プロ
グラムを記録した記録媒体は、撮像対象物を２以上のそ
れぞれ異なるピント位置で撮像することにより、２以上
の画像を取得する第１の取得ステップと、２以上の画像
のそれぞれにおいてピントの合っている部分を含む領域
を検出する検出ステップと、検出された領域の画像と、
ピント位置と、検出された領域の位置とに基づいて、補
正された撮像対象物の画像を取得する第２の取得ステッ
プとをコンピュータに実行させる。

【０００９】好ましくは第２の取得ステップは、検出さ
れた領域の画像と、検出された領域の位置とに基づい
て、撮像対象物の全体にピントの合った１枚の画像を取
得する第３の取得ステップと、ピント位置と、検出され
た領域の位置とに基づいて、第３の取得ステップにより
取得された画像を補正する補正ステップとを含む。

【００１０】これらの発明に従うと検出された領域の画
像とピント位置と検出された領域の位置とに基づいて、
補正された撮像対象物の画像が取得される。

【００１１】

【発明の実施の形態】図１は本発明の実施の形態の１つ
におけるデジタルカメラを前方から見た斜視図であり、
図２は後方から見た斜視図（カメラバック）である。図
を参照して、デジタルカメラには、撮影ボタン３と、撮
影レンズ部４と、カードメモリを挿入するためのカード
挿入孔５と、電源ボタン６と、本などの文字原稿を撮像
するときに歪みや煽りを補正するモードを設定する補正
モード設定スイッチ７とを備えている。

【００１２】このデジタルカメラによる撮影結果は、デ
ジタルカメラ内部のハードディスクカード（カードメモ
リ）に電気データとして記憶される。ここでカードメモ
リは画像データの媒体であり、たとえばＰＣＭＣＩＡ準
拠のハードディスクカードのようなものを用いてもよい
し、メモリカードを用いてもよい。また、これらのカー
ドメモリに代えてミニディスク（ＭＤ）を用いてもよ
い。さらに、カードメモリを画像データの記録媒体とせ
ずに、たとえばＳＣＳＩケーブルなどで画像データを直
接プリンタなどに送信するようにしてもよい。

【００１３】図３は本実施の形態におけるデジタルカメ
ラの構成を示すブロック図である。図を参照して、デジ
タルカメラは装置全体の制御を行なうＣＰＵ１０１と、
撮影レンズ部４を介して入射された光を電気信号に変換
するＣＣＤ部１１１と、ＣＣＤ部１１１からの信号を一
時的に記憶するＲＡＭ１０３と、２以上のそれぞれ異な
るピント位置で撮像対象物を撮像し、そのコントラスト
を比較することで最もピントの合った画像を選択し、後
述するブロック毎にピント位置を記憶するコントラスト
比較部１０５と、コントラスト比較部で記憶されたピン
ト位置の情報（距離情報）に基づいて画像の全体を回転
させることで煽り補正を行なう傾き補正部１０７と、煽
り補正が行なわれた画像に対し局所的な傾き（ブロック
毎の傾き）を算出し、回転補正を行なう傾き補正部１０
９と、補正の行なわれたブロック同士を接続する補間部
１１３と、補間部１１３からのデータを記憶するカード
メモリ部１１７とから構成される。補間部１１３はま
た、隣接するブロック同士の間を滑らかにする処理を行
なう。具体的には、（１）下地部分でブロックを接続す
る、（２）ブロック間のオーバラップ部分においてどの
ブロックの画素値を重視するかを位置によって変化させ
て接続する、または（３）ブロック同士の対応点を検出
して張り合わせ処理を行なう、などの処理を行なう。

【００１４】図４は、デジタルカメラにおける画像処理
の流れを示すフローチャートである。図を参照してステ
ップＳ１において初期設定が行なわれる。ステップＳ３
で画像データは複数のブロックに分けられる。ステップ
Ｓ５で後述するコントラスト法などを用いて各ブロック
の合焦位置での画像が取得される。

【００１５】ステップＳ７において各ブロックを傾ける
ことにより接続し、１つの画像を形成する。ステップＳ
９において１つの画像に対し煽り補正が行なわれる。ス
テップＳ１１において、各ブロックの傾きが補正され
る。ステップＳ１３において、ブロック同士の接続（補
間処理）が行なわれる。ステップＳ１５で画像データは
カードメモリ部１１７に記録される。

【００１６】上述の補正処理により、紙面を恰も光軸に
垂直な平面として撮影したような画像を得ることができ
る。また、ピントの合ったブロックを接続することで全
体としてピントの合った画像を得ることができる。以
下、図４のフローチャートで実行される処理について詳
しく説明する。

【００１７】［ステップＳ１］初期設定が行なわれる。
なお、ここでは本の紙面を撮像する場合を例にとり、画
像データが図５に示されるような歪みと煽りとを含むも
のである場合を想定する。

【００１８】［ステップＳ３］ＣＰＵ１０１により画像
データは、図６に示されるように複数のブロックに等分
割される。ブロックの数は処理速度を重視する場合少な
くすればよく、画質を重視する場合多くすればよい。図
６においては、画像データは８×８の６４のブロックに
等分割されている。

【００１９】［ステップＳ５］分割された各ブロックに
おける合焦位置での画像が取得される。具体的には、ま
ずデジタルカメラのピント位置を撮影レンズ部４より十
分近い位置から徐々に遠ざけていく。そして、６４個の
ブロックの少なくとも１つのブロックの画像のピントが
合うようにする。ピントが合った時点において、ピント
が合ったブロックの画像の中央位置とデジタルカメラと
の間の距離を測定する。そして、その距離と、ピントが
合ったブロックの位置と、そのブロックの画像データ
（画素値）をペアにして記憶する。

【００２０】さらに、ピントを撮影レンズ部４から遠ざ
け、次に前回とは異なるブロックの画像にピントが合っ
た時点で、その画像までの距離とブロックの位置と画素
値とのペアを記録する。このような処理を６４のすべて
のブロックのデータが得られるまで繰返す。

【００２１】図７は、画像のピントが合ったかどうかの
判定方法を説明するための図である。図７（Ａ）〜
（Ｃ）に示されるようにピント位置を変化させると、画
像のコントラストは変化する。ピントが合ったかどうか
の判定はコントラストが最も高くなったかどうかで行な
う。図７においては、（Ｂ）に示されるピント位置が合
焦位置（ピントが合った位置）であると判定される。

【００２２】ステップＳ５の処理により得られる距離情
報は、図８に示されるように紙面の等高線を示す情報と
なる。これにより煽りや原稿の歪み情報を得ることがで
きる。本実施の形態においてはこの煽りや歪み情報に基
づいて、各ブロックの画像の傾きを補正し、光軸に垂直
な平面に投影することで、恰も紙面が光軸に垂直な平面
として撮影されたかのような画像を得ることができる。
これにより、読みやすくまたＯＣＲの認識率の高い画像
を得ることができる。なお、ピントが合っているかどう
かの判定方法として、上述のコントラスト法以外に、高
周波成分の最も多い画像をピントの合った画像と判定す
る手法など他の既存の方法を利用することもできる。

【００２３】［ステップＳ７］ステップＳ７において
は、ブロックを傾け接続する処理が行なわれる。説明を
簡略化するために、図８のブロックＡを含む断面を例に
とり説明する。すなわち、図９に示されるように得られ
た画像データ内にブロックＡが存在し、点線で示される
領域のブロックを距離情報に基づいて横から見た図が図
１０である。図１０に示される各ブロックは、隣接する
ブロックと滑らかに接続されるように、傾けられる。具
体的には、ブロックＡは図１１の太線部分で示されるよ
うに傾けられ、他のブロックは点線で示されるように傾
けられる。

【００２４】［ステップＳ９］ステップＳ９においては
煽り補正が行なわれる。すなわち、図１２を参照して
“Ａ”は図１１の工程で得られたブロックを横方向から
見た図を示している。この接続されたブロックの両端の
高さの差Ｈ１に基づき、ブロック全体を“Ｂ”のように
傾ける。これは、たとえば原稿両端の高さの差Ｈ１と原
稿の幅Ｗ１とに基づいて回転角を算出し、アフィン変換
を行なうことなどにより得ることができる。この時点
で、画像データの煽りを補正することができる。

【００２５】［ステップＳ１１］ステップＳ１１では各
ブロックの傾きが補正される。これは、具体的には図１
２の工程により得られた図１３により示される画像デー
タのそれぞれのブロックを、光軸に対し垂直にする処理
である。たとえば図１４の“Ｃ”に示されるように傾い
たブロックＡに対してそのブロックの端の高さの差の情
報Ｈ２と幅の情報Ｗ２とにより回転角が算出され、アフ
ィン変換によりブロックＡが“Ｄ”の位置になるように
補正される。

【００２６】［ステップＳ１３］ステップＳ１３におい
てはブロックを接続する処理（補間処理）が行なわれ
る。すなわち、ステップＳ１１における各ブロックの傾
きを補正する処理が行なわれた後、図１５に示されるよ
うにそれぞれのブロックが１つの平面に接続される。ス
テップＳ１１における処理では図１６に示されるように
ブロックの傾きを補正するため、図１７に示されるよう
な矩形状のブロックは、図１８に示される矩形ではない
ブロックに変形される。したがって、隣接する２つのブ
ロックを接続する場合、図１９の実線で示される矩形で
はないブロックの一部を、点線で示される矩形により切
り出し、図２０のように接続する処理が行なわれる。ま
た、接続においては、隣接するブロックの下地を検出し
て下地部分で繋ぎ合わせたり、オーバラップする部分の
対応点を認識してこれらの対応点をもとに各ブロックを
張り合わせるなどの手法を用いてもよい。

【００２７】［ステップＳ１５］このようにして得られ
た画像データはカードメモリ部１１７へ記録される。

【００２８】上述のようにして、本実施の形態において
はデジタルカメラや原稿の位置を特定せずに幾何学的補
正を行なうことができる。また、煽りや歪みの撮像対象
物の形状に基づく補正が行なわれるだけでなく、光軸方
向に原稿が歪んでいる場合においても全体としてピント
が合った画像を得ることができる。

【００２９】［変形例］なお、上述の実施の形態におい
てはデジタルカメラにおいて補正処理を行なう場合を例
にとり説明したが、パーソナルコンピュータなどにより
処理を行なってもよい。

【００３０】図２１は、パーソナルコンピュータなどを
用いた画像処理装置の装置構成を説明するためのブロッ
ク図である。

【００３１】図を参照して、画像処理装置はＣＰＵ２０
１と、ＲＯＭ２０３と、ＲＡＭ２０５と、ディスプレイ
２０７と、フロッピィディスク／ＣＤ−ＲＯＭドライブ
２０９と、キーボードやマウスなどにより構成される入
力装置２１１と、ハードディスク２１３と、プリンタ２
１５とから構成される。

【００３２】フロッピィディスク／ＣＤ−ＲＯＭドライ
ブ２０９に対し、フロッピィディスク２０９ａやＣＤ−
ＲＯＭ２０９ｂが用いられる。フロッピィディスク２０
９ａやＣＤ−ＲＯＭ２０９ｂには画像処理の対象となる
画像データが記録される。ＣＰＵ２０１は画像データに
対し、図４のフローチャートで示される処理を実行し、
その処理結果をディスプレイ２０７やプリンタ２１５に
出力したり、さらにフロッピィディスク２０９ａやＣＤ
−ＲＯＭ２０９ｂに出力したりする。

【００３３】さらに、図４のフローチャートで示される
処理を実行するプログラムをフロッピィディスク２０９
ａやＣＤ−ＲＯＭ２０９ｂなどの記録媒体に記録させ、
そのプログラムをＣＰＵ２０１に実行させることで画像
処理を行なうようにしてもよい。

【００３４】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【図面の簡単な説明】

【図１】本発明の実施の形態の１つにおけるデジタルカ
メラの外観を示す斜視図である。

【図２】図１のカメラの背面部を示す図である。

【図３】図１のデジタルカメラの装置構成を示すブロッ
ク図である。

【図４】デジタルカメラの実行する処理を示すフローチ
ャートである。

【図５】画像処理の対象となる画像データの具体例を示
す図である。

【図６】画像データのブロック分けについて説明するた
めの図である。

【図７】合焦状態を判定する処理について説明するため
の図である。

【図８】ピントの合ったブロックの位置を示す斜視図で
ある。

【図９】画像データの具体例を示す図である。

【図１０】図９の点線部の断面を示す図である。

【図１１】ブロックを傾け接続する処理を示す図であ
る。

【図１２】煽り補正の具体例を示す図である。

【図１３】煽り補正が行なわれた後の画像データを説明
するための図である。

【図１４】各ブロックの傾き補正を示す図である。

【図１５】ブロックの接続処理を説明するための図であ
る。

【図１６】ブロックの傾き補正によるブロックの変形を
説明するための図である。

【図１７】ブロックの具体例を示す平面図である。

【図１８】ブロックの傾き補正により図１７のブロック
の形状が変形した状態を説明するための図である。

【図１９】変形したブロックの接続処理を説明するため
の図である。

【図２０】接続された２つのブロックを示す図である。

【図２１】本発明の他の実施の形態である画像処理装置
の構成を示すブロック図である。

【図２２】デジタルカメラと原稿との関係を示す図であ
る。

【図２３】原稿の歪みの生じる原因を説明するための図
である。

【図２４】歪みの生じた画像データの具体例を示す図で
ある。

【図２５】煽りの生じる原因を説明するための図であ
る。

【図２６】煽りの生じた画像データの具体例を示す図で
ある。

【符号の説明】

７ 補正モード設定スイッチ １０１ ＣＰＵ １１１ ＣＣＤ部 １０５ コントラスト比較部 １０７ 傾き補正部 １０９ 傾き補正部 １１３ 補間部 １１７ カードメモリ部

フロントページの続き Ｆターム(参考） 5B029 AA01 BB05 CC04 EE04 EE05 5B057 AA11 BA02 BA15 CA08 CA12 CA16 CB08 CB12 CB16 CC03 CD12 CE08 DA08 DB02 DB09 DC30 5C077 LL01 MM30 MP01 PP05 PP23 PP59 SS03 TT09

Claims (4)

【特許請求の範囲】
1. 【請求項１】 撮像対象物を２以上のそれぞれ異なるピ
   ント位置で撮像することにより、２以上の画像を取得す
   る第１の取得手段と、 前記２以上の画像のそれぞれにおいてピントの合ってい
   る部分を含む領域を検出する検出手段と、 前記検出された領域の画像と、前記ピント位置と、前記
   検出された領域の位置とに基づいて、補正された前記撮
   像対象物の画像を取得する第２の取得手段とを備えた、
   画像処理装置。
2. 【請求項２】 前記第２の取得手段は、 前記検出された領域の画像と、前記検出された領域の位
   置とに基づいて、前記撮像対象物の全体にピントの合っ
   た１枚の画像を取得する第３の取得手段と、 前記ピント位置と、前記検出された領域の位置とに基づ
   いて、前記第３の取得手段により取得された画像を補正
   する補正手段とを含む、請求項１に記載の画像処理装
   置。
3. 【請求項３】 撮像対象物を２以上のそれぞれ異なるピ
   ント位置で撮像することにより、２以上の画像を取得す
   る第１の取得ステップと、 前記２以上の画像のそれぞれにおいてピントの合ってい
   る部分を含む領域を検出する検出ステップと、 前記検出された領域の画像と、前記ピント位置と、前記
   検出された領域の位置とに基づいて、補正された前記撮
   像対象物の画像を取得する第２の取得ステップとをコン
   ピュータに実行させるための画像処理プログラムを記録
   した記録媒体。
4. 【請求項４】 前記第２の取得ステップは、 前記検出された領域の画像と、前記検出された領域の位
   置とに基づいて、前記撮像対象物の全体にピントの合っ
   た１枚の画像を取得する第３の取得ステップと、 前記ピント位置と、前記検出された領域の位置とに基づ
   いて、前記第３の取得ステップにより取得された画像を
   補正する補正ステップとを含む、請求項３に記載の画像
   処理プログラムを記録した記録媒体。