JP2000236434A

JP2000236434A - 画像形成装置

Info

Publication number: JP2000236434A
Application number: JP11034983A
Authority: JP
Inventors: Yutaka Egawa; 豊江川; Tsutomu Abe; 勉安部
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1999-02-12
Filing date: 1999-02-12
Publication date: 2000-08-29

Abstract

(57)【要約】【課題】平面対象物以外の対象物であっても高品質な
画像を形成し得る画像形成装置を提供する。【解決手段】画像形成装置は、距離画像取得部３にて
対象物の距離画像情報を取得し、この距離画像情報に基
づいて領域分割部２４にて距離の領域ごとに画像を分割
し、この分割した領域にそれぞれ合焦するように距離情
報処理部２５にて焦点距離情報を演算する。この焦点距
離情報を用いて撮像制御部４によりレンズ駆動部１５を
制御し、撮像部１の結像光学系１２の焦点距離を変えて
撮像素子１１により対象物を撮像する。この撮像された
輝度画像情報から画像抽出部２７にて各分割領域につい
て合焦画像を抽出し、これらの合焦画像を画像合成部２
８にて合成することにより画像を形成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像形成装置に係
り、特に焦点距離を変えて撮像した複数の画像データか
ら画像を形成する画像形成装置に関する。

【０００２】

【従来の技術】従来から、焦点距離を変えて撮像した複
数の画像データを用いて画像を形成する装置は知られて
いる。例えば、特開平１０−６３８７０号公報には、首
振り型の画像読取装置が開示されている。この画像読取
装置は、原稿画像から複数の分割画像を生成し、読取機
構を走査させて各分割画像を順次読み取り、読み取った
各分割画像を接続して原稿画像のデータを得るようにし
たものである。ここで読取機構は、倍率可変の結像光学
系及び固体撮像素子等の光電変換素子を用いて構成され
る。この読取機構は机上に設置された支持体に取り付け
られ、同じ机上に置かれた原稿面の原稿画像を読み取
る。この画像読取装置によれば、装置の小型化を図るこ
とができ、また原稿画像のデータを迅速に得ることがで
きる。

【０００３】この画像読取装置は、原稿面に対して撮像
素子面が傾斜しているので、原稿面を俯瞰して読み取る
ことになる。この場合、撮像素子面に対して結像光学系
の焦点位置は対象物の中心付近にあるので、原稿面と撮
像素子面との傾斜が大きいと、その上下左右の原稿画像
に対しては前ピンや後ピンといった焦点が合わない領域
が存在する。このため、この画像読取装置では、原稿面
と撮像素子との距離及び撮像素子の素子面に対する原稿
面の傾斜角度を検出しておき、結像光学系の焦点深度と
の関係から、結像光学系の焦点距離を移動させて焦点深
度の範囲を変化させ、原稿面の全領域で焦点の合った
（合焦した）原稿画像を読み取るようにしている。

【０００４】

【発明が解決しようとする課題】従来の画像読取装置で
は、原稿が完全な平面であることを仮定しており、３点
の距離情報から原稿面と撮像素子面の傾きを検出する構
成となっている。しかしながら、この種の装置を実際に
使用することを考えると、原稿が単純な平面である場合
よりも、本やノートを開いたときのようにページが湾曲
している場合や原稿が折れ曲がっている場合の方が多
い。また、被写体が奥行きのある物体や複数の対象物か
らなる場合、あるいは景色などのように遠景と近景が混
在する場合もある。このような対象を従来のような画像
読取装置で読み取ると、平面からはずれた領域の画像デ
ータには焦点ぼけやゆがみが発生し、正確な画像情報を
読みとることが出来ないという問題がある。

【０００５】従って本発明の目的は、平面対象物以外の
対象物であっても高品質な画像を形成し得る画像形成装
置を提供することにある。

【０００６】

【課題を解決するための手段】上記目的は、焦点距離が
可変の結像光学系を備えた撮像部と、対象物の距離画像
情報を取得する距離画像取得部と、距離画像情報に基づ
いて分割した領域にそれぞれ合焦する焦点距離情報を演
算する演算処理部と、焦点距離情報に基づいて結像光学
系の焦点距離を制御する撮像制御部と、分割した領域ご
とに撮像部より得た輝度画像情報から合焦画像を抽出す
る画像抽出部と、抽出した複数の合焦画像を合成する画
像合成部とを備えることにより、達成される。

【０００７】ここで演算処理部は、距離画像情報に基づ
いて距離の領域ごとに画像を分割する領域分割部と、分
割した領域にそれぞれ合焦するように焦点距離情報を演
算する距離情報処理部とを有する。この領域分割部は、
結像光学系の被写界深度範囲に入る距離の領域ごとに画
像を分割する。また距離情報処理部は、距離画像情報に
基づいて前記結像光学系のレンズ移動位置及び移動回数
を演算する。

【０００８】さらに本発明に係る画像形成装置は、距離
画像情報に基づいて対象物の表面形状情報を取得する表
面形状認識部と、この表面形状情報に基づいて画像合成
部により合成された画像を透視変換する透視変換処理部
とを備えて構成される。ここで表面形状認識部は、対象
物を分割して得た複数の曲面領域又は平面領域のそれぞ
れの位置、傾き及び曲率を表面形状情報として出力す
る。そして、複数の曲面領域又は平面領域に係る表面形
状情報に基づいて個別に透視変換を行って画像を接合す
る。

【０００９】また本発明に係る画像形成方法は、対象物
より距離画像情報を取得し、この距離画像情報に基づい
て分割した領域にそれぞれ合焦する焦点距離情報を演算
し、この焦点距離情報に基づいて撮像部の焦点距離を設
定して撮像を行い、撮像して得た輝度画像情報から合焦
画像を抽出し、前記焦点距離を変えて順次他の領域の合
焦画像を抽出し、この抽出した合焦画像を合成すること
により画像を形成する。さらに、距離画像情報に基づい
て対象物の表面形状情報を取得し、表面形状情報に基づ
いて前記合成された合焦画像を透視変換することにより
画像を形成することもできる。このように構成すること
により、平面対象物以外の対象物であっても高品質な画
像を形成し得る画像形成装置を得ることができる。

【００１０】

【発明の実施の形態】図１は、本発明に係る画像形成装
置の一実施例を示す図である。本実施例は、図のよう
に、撮像部１、画像処理部２、距離画像取得部３、撮像
制御部４及び出力部５を備える。ここで撮像部１は、Ｃ
ＣＤ等の撮像素子１１及び焦点距離可変の結像光学系１
２を含むカメラ１３と、カメラ１３からの画像信号を処
理する信号処理部１４と、結像光学系１２を形成するレ
ンズを駆動するレンズ駆動部１５と、レンズ位置を検出
するレンズ位置センサ１６とから構成される。

【００１１】また、画像処理部２は、信号処理部１４か
らの輝度画像情報を格納する輝度画像メモリ２１と、距
離画像取得部３からの距離画像情報を格納する距離画像
メモリ２２と、この距離画像情報に基づいて分割した領
域にそれぞれ合焦する焦点距離情報を演算する演算処理
部２３と、この分割領域情報を格納する分割領域情報メ
モリ２６と、分割領域ごとに輝度画像メモリ２１の輝度
画像情報から合焦画像を抽出する画像抽出部２７と、抽
出した複数の合焦画像を合成する画像合成部２８から構
成され、合成された画像は出力部５を介して出力され
る。ここで演算処理部２３は、距離画像情報に基づいて
距離の領域ごとに画像を分割する領域分割部２４と、こ
の分割領域にそれぞれ合焦するように焦点距離情報を演
算する距離情報処理部２５とを備えて構成される。撮像
制御部４は、演算処理部２３からの焦点距離情報に基づ
いて結像光学系１２の焦点距離を変えるようにレンズ駆
動部１５を制御する。

【００１２】図２は、距離を隔てて配置した３つの物体
２０１〜２０３を距離画像取得部３の内蔵された撮像部
１を用いて撮影する例を示す。本例では、説明を分かり
易くするため、撮像部１に対して３つの物体２０１〜２
０３の正面が対向するように配置されている。以下、本
発明の画像形成方法を、図３に示すフローチャートにし
たがって説明する。図３において、まず、画像形成装置
の動作開始指令が出されると（ステップ３０１）、撮像
部１に内蔵された距離画像取得部３により対象物の距離
画像情報を取得する（ステップ３０２）。距離画像情報
は、例えば図４に示すように、撮像部１からの距離が色
の濃さとして表される。

【００１３】距離画像情報の取得は、例えば三角測量の
原理を用いたステレオ画像処理により行うことができる
が、次のような方法を用いることもできる。即ち、コー
ド化されたパターンを投影する投光器と、投光器の光軸
方向から投影パターンを撮影する第１のカメラと、投光
器の光軸方向と異なる方向から投影パターンを撮影する
第２のカメラとを備え、投影パターンに対する第１のカ
メラによる撮影パターンの変化量が所定以上の領域につ
いて新たなコードを割り付け、割り付けたコードを用い
て第２のカメラによる撮影パターンから第１の距離情報
を生成し、第１の距離情報および第１のカメラより得ら
れた輝度情報に基づいて３次元情報を得るようにする方
法である。この方法では、輝度画像と距離画像の撮像光
学系における光学軸が完全に一致しており、輝度画像デ
ータの各画素の値に距離値が対応している。輝度画像と
距離画像の光学軸は、完全に一致していることが望まし
いが、完全に一致している必要はない。

【００１４】次に、領域分割部２４は、取得した距離画
像情報を距離画像メモリ２２から読み出し、結像光学系
の被写界深度範囲に入る距離の領域ごとに距離画像を分
割する（ステップ３０３）。例えば、図５に示すよう
に、レンズと物体面との間の距離値ｓに対して、既知の
カメラパラメータとしてレンズと像面との間の距離ｓ’
を設定すると、焦点距離ｆはニュートンの式から次のよ
うにして求められる。

【００１５】

【数１】

【００１６】この焦点距離ｆに対して、カメラパラメー
タとしてのＦ値をＦ、許容錯乱円の円径をεと設定する
と、物体面の後側被写界深度ａ_１及び前側被写界深度ａ
_２はそれぞれ次式から求められる。

【００１７】

【数２】

【００１８】従って、距離画像データ中における距離値
が（ｓ−ａ_１）から（ｓ＋ａ_２）までの範囲内にある領
域は、合焦していることになる。このように１つの焦点
距離ｆに対して、（ｓ−ａ_１）から（ｓ＋ａ_２）という
被写界深度範囲が設定でき、Ｎ個の焦点距離ｆ、ｆ_１、
・・・、ｆ_Ｎに応じて距離値をＮ個に分類できる。領域
分割部２４は、距離画像中の各画素に対応する距離値が
どの焦点距離に分類されるかを判別し、同じ分類の画素
を集めて距離画像を領域分割する。これにより輝度画像
中の対応する領域が合焦する領域に分割されたことにな
る。この分割した距離画像領域データは分割領域情報メ
モリ２６に格納される。本例では、図６に示すように、
全画像データが焦点距離ｆ_１、ｆ_２、ｆ_３である被写界
深度範囲の３領域に分割される。

【００１９】一方、距離情報処理部２５は、距離画像情
報に基づいて領域分割部２４にて分割された領域にそれ
ぞれ合焦するように焦点距離情報を演算し、焦点距離の
設定を行う（ステップ３０４）。例えば、結像光学系１
２におけるレンズの移動位置及び移動回数を演算して焦
点距離情報とする。撮像制御部４は、この焦点距離情報
に基づいてレンズ駆動部１５を制御する。これによりレ
ンズ位置が移動制御される（ステップ３０５）。

【００２０】本例では、図６に示すように、画像は焦点
距離ｆ_１、ｆ_２、ｆ_３の３領域に分割される。従って各
領域の輝度画像取得は、結合光学系１２の焦点距離をｆ
_１〜ｆ_３に変化させて３回行われる（ステップ３０
６）。ここで輝度画像は、ＣＣＤカメラなどの視覚セン
サから入力されるもので、対象物表面から受光部に入る
光の輝度を各画素値としたものである。撮像手段として
ＣＣＤカメラを用いた場合、画像キャプチャボードを使
ってコンピュータの記憶部へ画像データを取り込むこと
ができる。

【００２１】撮像した３つの輝度画像情報の例を図７
（ａ）〜（ｃ）に示す。ここでは合焦している領域のテ
クスチャを太線で表している。図７（ａ）では焦点距離
ｆ_１の領域が、（ｂ）では焦点距離ｆ_２の領域、（ｃ）
では焦点距離ｆ_３の領域がそれぞれ合焦している。この
ように、距離が被写界深度範囲内にある領域は合焦する
が、そうでない領域は合焦せず、ぼけた画像となる。こ
れらの輝度画像情報は輝度画像メモリ２１に格納され
る。

【００２２】次に、画像抽出部２７は、分割領域情報メ
モリ２６に蓄えられた分割領域画像データに基づいて、
輝度画像メモリ２１の輝度画像情報から合焦している領
域を抽出する（ステップ３０７）。ここで、距離画像と
輝度画像の画素対応が完全に一致している場合は、分割
された距離画像領域に対応する領域をそのまま輝度画像
から抽出すればよい。図８（ａ）〜（ｃ）は、本実施例
において抽出された輝度画像情報の例を示す図である。
図において、太線で描かれている領域が抽出領域であ
り、白く抜けている領域は非抽出領域である。図８
（ａ）では焦点距離ｆ _１で合焦した領域が、（ｂ）では
焦点距離ｆ_２で合焦した領域、（ｃ）では焦点距離ｆ_３
で合焦した領域がそれぞれ抽出される。このように、図
３におけるステップ３０４〜３０７を抽出画像数が設定
枚数となるまで行う（ステップ３０８）。本例では３回
繰り返して行う。

【００２３】最後に、画像合成部２８は、抽出された輝
度画像情報を合成し（ステップ３０９）、出力部５を介
して出力する（ステップ３１０）。本実施例で合成され
た輝度画像情報の例を図９に示す。物体２０１〜２０３
の画像は、同図に示すように、それぞれ合焦したかたち
で得られる。抽出画像は、例えば次のようにして合成さ
れる。まず、図８（ａ）〜（ｃ）において、座標位置で
ある（ｘ，ｙ）番目の値をそれぞれＩ_１（ｘ，ｙ）、Ｉ
_２（ｘ，ｙ）、Ｉ_３（ｘ，ｙ）とする。そして、太線で
かかれた領域は取得輝度画像の輝度値を持ち、白く抜か
れた領域は０の値を持つものとして、合成画像の輝度値
Ｉ（ｘ，ｙ）を、次式から求める。

【００２４】

【数３】

【００２５】このように本実施例によれば、対象物の形
状に依存せず対象物全体に合焦された画像を撮影可能な
画像形成装置を得ることができる。

【００２６】図１０は、本発明に係る画像形成装置の他
の実施例を示す図である。本実施例は、画像合成部２８
により全領域で合焦している合成輝度画像を得るところ
までは先の実施例と同様であるが、画像処理部２に表面
形状認識部５１、透視変換処理部５２及び画像接合部５
３を付加した点で異なる。表面形状認識部５１は、距離
画像メモリ２２から距離画像情報を読みとり、対象物の
表面形状情報を取得する。例えば対象物を複数の曲面や
平面の集合としてとらえ、それぞれの座標や傾きなどの
パラメータを表面形状データとする。透視変換処理部５
２は、表面形状認識部５１により認識された表面形状デ
ータを基に、画像合成部２８より出力された全領域で合
焦している合成輝度画像を、各形状に対応する領域で透
視変換する。ここで透視変換とは、３次元空間から２次
元投影面への変換を言う。各曲面及び平面について、パ
ラメータを基に個別に透視変換する。画像接合部５３
は、各曲面及び平面について透視変換処理された画像を
表面形状のパラメータを基に接合し、この接合された画
像データを出力する。

【００２７】本実施例では、取得した全領域合焦画像に
透視変換処理を行うことにより、缶の側面や開いた本の
ページなどのように湾曲した原稿を撮影する場合であっ
ても、平面に引き延ばしたかのようにゆがみがなく、全
体に焦点のあった画像を出力することが可能である。以
上のように本発明では、対象物の形状に依存せず対象物
全体に合焦された画像を撮影可能であり、また湾曲した
原稿であっても平面に引き延ばしたかのようにゆがみが
なく、全体に焦点のあった高品質・高精細の画像を出力
することができる。

【００２８】

【発明の効果】本発明によれば、平面対象物以外の対象
物であっても高品質な画像を形成しうる画像形成装置を
得ることができる。

【図面の簡単な説明】

【図１】本発明に係る画像形成装置の一実施例を示す図
である。

【図２】距離画像取得部を内蔵した撮像部で物体を撮影
する様子を示す図である。

【図３】本発明に係る画像形成方法を説明するためのフ
ローチャートである。

【図４】カメラからの距離を色の濃さとして表した距離
画像情報を示す図である。

【図５】レンズと物体面及び像面との関係を示す図であ
る。

【図６】焦点距離の違いで分割された領域を示す図であ
る。

【図７】（ａ）は焦点距離ｆ_１の合焦領域、（ｂ）は焦
点距離ｆ_２の合焦領域、（ｃ）は焦点距離ｆ_３の合焦領
域をそれぞれ示す図である。

【図８】（ａ）は焦点距離ｆ_１で合焦した抽出領域、
（ｂ）は焦点距離ｆ_２で合焦した抽出領域、（ｃ）は焦
点距離ｆ_３で合焦した抽出領域をそれぞれ示す図であ
る。

【図９】複数の抽出領域を合成して形成した画像を示す
図である。

【図１０】本発明に係る画像形成装置の他の実施例を示
す図である。

【符号の説明】

１撮像部２画像処理部３距離画像取得部４撮像制御部５出力部１１撮像素子１２結像光学系１３カメラ１４信号処理部１５レンズ駆動部１６レンズ位置センサ２１輝度画像メモリ２２距離画像メモリ２３演算処理部２４領域分割部２５距離情報処理部２６分割領域情報メモリ２７画像抽出部２８画像合成部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2F065 AA06 FF05 FF10 JJ03 JJ26 LL06 QQ00 QQ24 UU05 5B057 BA02 BA17 CA12 CA16 CB12 CB16 CD14 CE08 CE09 CE10 CE20 CH08 DA08 DA17 DB02 DC05 DC09 DC36 5C076 AA02 AA19 AA36 BA01 BA06 CA10

Claims

【特許請求の範囲】

【請求項１】焦点距離が可変の結像光学系を備えた撮
像部と、対象物の距離画像情報を取得する距離画像取得
部と、前記距離画像情報に基づいて分割した領域にそれ
ぞれ合焦する焦点距離情報を演算する演算処理部と、前
記焦点距離情報に基づいて前記結像光学系の焦点距離を
制御する撮像制御部と、前記分割した領域ごとに前記撮
像部より得た輝度画像情報から合焦画像を抽出する画像
抽出部と、前記抽出した複数の合焦画像を合成する画像
合成部とを備えたことを特徴とする画像形成装置。
【請求項２】前記演算処理部は、前記距離画像情報に
基づいて距離の領域ごとに画像を分割する領域分割部
と、前記分割した領域にそれぞれ合焦するように焦点距
離情報を演算する距離情報処理部とを有することを特徴
とする請求項１記載の画像形成装置。
【請求項３】前記領域分割部は、前記結像光学系の被
写界深度範囲に入る距離の領域ごとに画像を分割するこ
とを特徴とする請求項２記載の画像形成装置。
【請求項４】前記距離情報処理部は、前記距離画像情
報に基づいて前記結像光学系のレンズ移動位置及び移動
回数を演算することを特徴とする請求項２記載の画像形
成装置。
【請求項５】対象物の距離画像情報を取得する距離画
像取得部と、前記距離画像情報に基づいて分割した領域
にそれぞれ合焦する焦点距離情報を演算する演算処理部
と、前記焦点距離情報に基づいて焦点距離を変えて撮像
した輝度画像情報から複数の合焦画像を抽出する画像抽
出部と、前記抽出した複数の合焦画像を合成する画像合
成部とを備えたことを特徴とする画像形成装置。
【請求項６】焦点距離が可変の結像光学系を備えた撮
像部と、対象物の距離画像情報を取得する距離画像取得
部と、前記距離画像情報に基づいて分割した領域にそれ
ぞれ合焦する焦点距離情報を演算する演算処理部と、前
記焦点距離情報に基づいて前記結像光学系の焦点距離を
制御する撮像制御部と、前記分割した領域ごとに前記撮
像部より得た輝度画像情報から合焦画像を抽出する画像
抽出部と、前記抽出した複数の合焦画像を合成する画像
合成部と、前記距離画像情報に基づいて対象物の表面形
状情報を取得する表面形状認識部と、前記画像合成部に
より合成された画像を前記表面形状情報に基づいて透視
変換する透視変換処理部とを備えたことを特徴とする画
像形成装置。
【請求項７】前記表面形状認識部は、対象物を分割し
て得た複数の曲面領域又は平面領域のそれぞれの位置、
傾き及び曲率を表面形状情報として出力することを特徴
とする請求項６記載の画像形成装置。
【請求項８】前記複数の曲面領域又は平面領域に係る
表面形状情報に基づいて個別に透視変換した画像を接合
する画像接合部を備えたことを特徴とする請求項７記載
の画像形成装置。
【請求項９】対象物の距離画像情報を取得し、前記距
離画像情報に基づいて分割した領域にそれぞれ合焦する
焦点距離情報を演算し、前記焦点距離情報に基づいて撮
像部の焦点距離を設定して撮像し、前記撮像して得た輝
度画像情報から合焦画像を抽出し、前記焦点距離を変え
て順次他の領域の合焦画像を抽出し、前記抽出した合焦
画像を合成することにより画像を形成することを特徴と
する画像形成方法。
【請求項１０】前記距離画像情報に基づいて対象物の
表面形状情報を取得し、前記表面形状情報に基づいて前
記合成された合焦画像を透視変換することにより画像を
形成することを特徴とする請求項９記載の画像形成方
法。