JP2001223891A

JP2001223891A - 画像処理方法

Info

Publication number: JP2001223891A
Application number: JP2000031902A
Authority: JP
Inventors: Naoto Kaneshiro; 金城　　直人
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2000-02-09
Filing date: 2000-02-09
Publication date: 2001-08-17

Abstract

(57)【要約】【課題】自動的に、画像中から直線構造を持つ被写体を
抽出し、画像の歪みを補正する。【解決手段】入力画像データから被写体の直線部分を検
出し、その被写体本来の直線部分の、画像上における歪
み度合いを検出し、前記歪み度合いに基づいて、前記検
出された直線部分を、画像上における本来の直線部分の
位置に補正する歪み補正式を導出し、前記歪みを補正す
ることにより前記課題を解決する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラで撮影され
た画像の、光学系に起因する歪みを補正する画像処理方
法に関する。

【０００２】

【従来の技術】従来、ネガフィルム、リバーサルフィル
ム等の写真フィルム（以下、単にフィルムという。）に
撮影された画像の感光材料（印画紙）への焼き付けは、
フィルムの画像を感光材料に投影して感光材料を面露光
する、いわゆる直接露光（アナログ露光）によって行わ
れていた。

【０００３】これに対して、近年では、デジタル露光を
利用する焼付装置、すなわち、フィルムに記録された画
像を光電的に読み取って、読み取った画像をデジタル信
号とした後、種々の画像処理を施して記録用の画像デー
タとし、この画像データに応じて変調した記録光によっ
て、感光材料を走査露光して画像（潜像）を記録し、
（仕上がり）プリントとするデジタルフォトプリンタが
実用化されている。

【０００４】デジタルフォトプリンタでは、画像をデジ
タルの画像データとして、画像データ処理によって焼き
付け時の露光条件を決定することが出来るので、逆光や
ストロボ撮影等に起因する画像の飛びやツブレの補正、
シャープネス（鮮鋭化）処理、カラーフェリアや濃度フ
ェリアの補正、アンダー露光やオーバー露光の補正、周
辺光量不足の補正等を好適に行って、従来の直接露光で
は得られなかった高品位なプリントを得ることが出来
る。

【０００５】ところで、従来、カメラで画像を撮影する
際、カメラに装着されるレンズの性能に起因する倍率色
収差や歪曲収差等によって、プリントに再生された画像
の画質が劣化することが知られている。例えば、被写体
の本来あるべき直線からの歪みである歪曲収差は、通常
のレンズにおいて、結像位置が光軸方向にズレを生じ、
結像画像に歪みを生じるために発生する。そのため、フ
ィルムに撮影された画像を再生すると、得られた画像が
歪んだものとなってしまう。

【０００６】このような画像の劣化に対して、前記デジ
タルフォトプリンタによるデジタル画像処理を用いて、
画像データの補正を行い、色ズレや画像の歪みのない高
画質な画像を得るための技術がいろいろ提案されてい
る。例えば、特開平１１−２６１８３２号公報には、フ
ィルムに撮影された画像を光電的に読み取り、モニタに
表示し、これをオペレータが見ながら指示を出して歪曲
収差補正を行うようにしたものが開示されている。すな
わちこれは、オペレータが、モニタに表示された画像の
中から、本来直線と考えられる被写体について、その上
の２箇所以上に目印をつけ、この目印を結ぶ直線を本来
の被写体と考えて、画像データ上の座標を、本来あるべ
き直線上の座標に補正する補正式を算出して、歪曲収差
補正を行うものである。

【０００７】

【発明が解決しようとする課題】前記特開平１１−２６
１８３２号公報に開示された歪曲収差の補正方法は、撮
影されたレンズ等の情報がなく、収差特性が判らなくて
も、オペレータが最適と判断した撮影画像の歪曲収差特
性に基づいて収差の補正をすることができ、優れた効果
を有している。しかしながら、この方法では、オペレー
タの手作業に負うところが大きいため、オペレータの作
業負荷が増加するという問題がある。

【０００８】本発明は、前記従来の問題に鑑みてなされ
たものであり、自動的に、画像中から直線構造を持つ被
写体を抽出し、画像の歪みを補正することのできる画像
処理方法を提供することを課題とする。

【０００９】

【課題を解決するための手段】前記課題を解決するため
に、本発明は、入力画像データから被写体の直線部分を
検出し、その被写体本来の直線部分の、画像上における
歪み度合いを検出し、前記歪み度合いに基づいて、前記
検出された直線部分を、画像上における本来の直線部分
の位置に補正する歪み補正式を導出し、前記歪みを補正
することを特徴とする画像処理方法を提供する。

【００１０】また、前記被写体の直線部分の検出におい
て、略直角で連結もしくは交差する複数の直線部分、ま
たは略平行な位置関係にある複数の直線部分を検出した
場合には、前記複数の直線部分に囲まれる領域は人工的
構造物であると判定することが好ましい。

【００１１】

【発明の実施の形態】以下、本発明に係る画像処理方法
について、添付の図面に示される好適実施形態を基に、
詳細に説明する。本発明の画像処理は、被写体の直線部
分を検出して、その歪みを検出し、画像の歪みを補正す
ることを特徴とする。

【００１２】図１は、本発明に係る画像処理方法を実行
する画像処理装置を含むデジタルフォトプリンタの概略
を示すブロック図である。図１に示すデジタルフォトプ
リンタ（以下、フォトプリンタという）１０は、フィル
ムＦに撮影された画像を光電的に読み取るスキャナ（画
像読取装置）１２と、このスキャナ１２で読み取られた
画像データの電子変倍処理や、画像データのエッジ部の
検出やシャープネス強調（鮮鋭度強調）、平滑化処理
（粒状抑制）および本発明の特徴である画像歪み補正な
どの画像処理やフォトプリンタ１０全体の操作および制
御等を行う画像処理装置１４と、この画像処理装置１４
から出力された画像データに応じて変調した光ビームで
感光材料（印画紙）を画像露光し、現像処理して（仕上
がり）画像をプリントとして出力する画像記録装置１６
と、を有する。また、画像処理装置１４には、様々な条
件の入力、設定、処理の選択や指示、色／濃度補正など
の指示等を入力するためのキーボード１８ａおよびマウ
ス１８ｂを有する操作系１８と、スキャナ１２で読み取
られた画像、各種の操作指示、様々な条件の設定／登録
画面等を表示するモニタ２０が接続される。

【００１３】スキャナ１２は、フィルムＦ等に撮影され
た画像を１コマずつ光電的に読み取る装置で、光源２２
と、可変絞り２４と、フィルムＦに入射する読取光をフ
ィルムＦの面方向で均一にする拡散ボックス２６と、フ
ィルムＦのキャリア２８と、結像レンズユニット３０
と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各色画像濃度
の読取に対応する３ラインＣＣＤセンサを有するイメー
ジセンサ３２と、アンプ（増幅器）３３と、Ａ／Ｄ（ア
ナログ／デジタル）変換器３４とを有する。

【００１４】フォトプリンタ１０においては、スキャナ
１２の本体に装着自在な専用のキャリア２８が、新写真
システム（Ａdvanced Ｐhoto Ｓystem)や１３５サイズ
のネガ（あるいはリバーサル）フィルム等のフィルムＦ
の種類やサイズ、ストリップスやスライド等のフィルム
の形態等に応じて用意されており、キャリア２８の交換
によって、各種のフィルムや処理に対応することができ
る。フィルムに撮影され、プリント作成に供される画像
（コマ）は、このキャリア２８によって所定の読取位置
に搬送される。また、周知のように、新写真システムの
フィルムには、磁気記録媒体が形成され、カートリッジ
ＩＤやフィルムサイズ、ＩＳＯ感度等が記録されてお
り、また、撮影時や現像時等に、撮影や現像日時、露出
レベル、カメラや現像機の機種等の各種のデータが記録
可能である。新写真システムのフィルム（カートリッ
ジ）に対応するキャリア２８には、この磁気情報の読取
手段が配置されており、フィルムを読取位置に搬送する
際に磁気情報を読み取り、これらの各種の情報が画像処
理装置１４に送られる。

【００１５】このようなスキャナ１２において、フィル
ムＦに撮影された画像を読み取る際には、光源２２から
射出され、可変絞り２４および拡散ボックス２６によっ
て光量調整された均一な読取光が、キャリア２８によっ
て所定の読取位置に位置されたフィルムＦに入射して、
透過することにより、フィルムＦに撮影された画像を担
持する投影光を得る。なお、カラー画像信号は、このよ
うにフィルムを透過した光を読み取ることによって入力
されるものには限定されず、反射原稿でもよいし、ある
いはデジタルカメラによって撮影された画像を用いても
よい。

【００１６】図示例のキャリア２８は、２４枚取りの１
３５サイズのフィルムや新写真システムのカートリッジ
等の、長尺なフィルムＦ（ストリップス）に対応するも
のである。フィルムＦは、このキャリア２８によって読
取位置に位置されて、ＲＧＢの３ラインＣＣＤセンサの
延在方向である主走査方向と直交する副走査方向に搬送
されつつ、読取光を入射される。これにより、結果的
に、フィルムＦが２次元的にスリット走査され、フィル
ムＦに撮影された各コマの画像が読み取られる。

【００１７】フィルムＦの投影光は、結像レンズユニッ
ト３０によってイメージセンサ３２の受光面に結像され
る。イメージセンサ３２から出力されたＲ、ＧおよびＢ
の各出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換
器３４に送られ、Ａ／Ｄ変換器３４において、それぞ
れ、例えば１２ｂｉｔのＲＧＢデジタル画像データに変
換された後、画像処理装置１４に出力される。

【００１８】なお、スキャナ１２においては、フィルム
Ｆに撮影された画像を読み取るに際し、低解像度で読み
取るプレスキャン（第１回目の画像読取）と、出力画像
の画像データを得るためのファインスキャン（第２回目
の画像読取）との２回の画像読取を行う。ここで、プレ
スキャンは、スキャナ１２が対象とするフィルムＦの全
ての画像を、イメージセンサ３２が飽和することなく読
み取れるように、予め設定されたプレスキャン読取条件
で行われる。一方、ファインスキャンは、プレスキャン
データから、その画像（コマ）の最低濃度よりも若干低
い濃度でイメージセンサ３２が飽和するように、各コマ
毎に設定されたファインスキャンの読取条件で行われ
る。なお、プレスキャンおよびファインスキャン出力画
像信号は、解像度および出力画像信号レベルが異なる以
外は、基本的に同様な画像データである。

【００１９】なお、フォトプリンタ１０に用いられるス
キャナ１２は、このようなスリット走査読取を行うもの
に限定されず、１コマのフィルム画像の全面を一度に読
み取る面状読取を行うものであってもよい。この場合に
は、例えばエリアＣＣＤセンサなどのエリアセンサを用
い、光源２２とフィルムＦとの間にＲ、ＧおよびＢの各
色フィルタの挿入手段を設け、光源２２からの射出光の
光路に挿入して、色フィルタを透過した読取光をフィル
ムＦ全面に照射して、透過光をエリアＣＣＤセンサに結
像させてフィルム全画像を読み取ることを、Ｒ、Ｇおよ
びＢの各色フィルタを切り換えて順次行うことで、フィ
ルムＦに撮影された画像を３原色に分解して読み取る。

【００２０】前述したように、スキャナ１２から出力さ
れるデジタル画像データ信号は、本発明の画像処理方法
を実施する画像処理装置１４に出力される。図２に、こ
の画像処理装置（以下、処理装置という。）１４のブロ
ック図を示す。処理装置１４は、スキャナ補正部３６、
ＬＯＧ変換器３８、プレスキャン（フレーム）メモリ４
０、ファインスキャン（フレーム）メモリ４２、プレス
キャンデータ処理部４４、ファインスキャンデータ処理
部４６および条件設定部４８を有して構成される。な
お、図２は主に画像処理関連の部分を示すものであり、
処理装置１４には、これ以外にも、処理装置１４を含む
フォトプリンタ１０全体の制御や管理を行うＣＰＵ、フ
ォトプリンタ１０の作動等に必要な情報を記録するメモ
リ等が配設され、また、操作系１８やモニタ２０は、こ
のＣＰＵ等（ＣＰＵバス）を介して各部分に接続され
る。

【００２１】スキャナ１２から処理装置１４に入力され
たＲ、ＧおよびＢの画像信号、例えば１２ｂｉｔのデジ
タル画像データは、スキャナ補正部３６に入力される。
スキャナ補正部３６は、スキャナ１２のイメージセンサ
３２のＲＧＢ３ラインＣＣＤセンサに起因する、ＲＧＢ
デジタル画像データの画素毎の感度ばらつきや暗電流を
補正するためにＤＣオフセット補正、暗時補正、欠陥画
素補正、シェーディング補正等の読取画像データのデー
タ補正を行うものである。スキャナ補正部３６で画素毎
の感度ばらつきや暗電流の補正処理等が施されたデジタ
ル画像信号は、ＬＯＧ変換処理器に出力される。ＬＯＧ
変換器３８は、対数変換処理してデジタル画像データを
階調変換してデジタル画像濃度データに変換するもので
あって、例えば、ルックアップテーブル（ＬＵＴ）を用
いて、スキャナ補正部３６で補正された１２ｂｉｔのデ
ジタル画像データを、例えば１０ｂｉｔ（０〜１０２
３）のデジタル画像濃度データに変換する。

【００２２】ＬＯＧ変換器３８で変換されたデジタル画
像濃度データは、プレスキャン画像データであればプレ
スキャンメモリ４０に、ファインスキャン画像データで
あればファインスキャンメモリ４２に、それぞれ記憶
（格納）される。プレスキャンメモリ４０は、スキャナ
１２によるフィルムＦのプレスキャンによって得られ、
各種のデータ補正および対数変換処理が施されたフィル
ムＦの１コマ全部の低解像度画像濃度データをＲＧＢの
各色毎に格納または記憶するためのフレームメモリであ
る。プレスキャンメモリ４０は、少なくともフィルムＦ
の１コマのＲＧＢ３色の画像濃度データを格納できる容
量が必要であるが、複数コマ分の画像濃度データを格納
できる容量を持つものであってもよいし、１コマ分の容
量のメモリを多数備えるものであってもよい。プレスキ
ャンメモリ４０に記憶されたプレスキャン画像データ
は、プレスキャンデータ処理部４４に読みだされる。

【００２３】一方、ファインスキャンメモリ４２は、ス
キャナ１２によるフィルムＦのファインスキャンによっ
て得られ、各種のデータ補正および対数変換処理が施さ
れたフィルムＦの１コマ全部の高解像度画像濃度データ
をＲＧＢの各色毎に格納または記憶するためのフレーム
メモリである。ファインスキャンメモリ４２に記憶され
たファインスキャン画像データは、ファインスキャンデ
ータ処理部４６に読みだされる。

【００２４】プレスキャンデータ処理部４４は、プレス
キャンメモリ４０に記憶されたプレスキャン画像データ
に対し、モニタ２０に表示するのに必要な種々の画像処
理を施すものであり、画像処理部５０と、画像データ変
換部５２とを有する。ここで、画像処理部５０は、後述
する条件設定部４８が設定した画像処理条件に従って、
スキャナ１２によって読み取られプレスキャンメモリ４
０に記憶された画像データに対し所定の画像処理を施す
ためのものである。所定の画像処理としては、モニタ２
０のＣＲＴ表示画面にカラー画像が所望の画質で再生可
能なように、ルックアップテーブル（以下、ＬＵＴで代
表させる）やマトリックス（以下、ＭＴＸで代表させ
る）演算を用いて、階調補正、色変換、濃度変換等の処
理が行われる。画像データ変換部５２は、画像処理部５
０によって処理された画像データをモニタ２０に表示さ
せるために、モニタ２０の解像度に合うように必要に応
じて間引いて、３Ｄ（３次元）ＬＵＴ等を用いて、モニ
タ２０による表示に対応する画像データに変換するもの
である。

【００２５】一方、ファインスキャンデータ処理部４６
は、ファインスキャンメモリ４２に記憶されたファイン
スキャン画像データに対し、画像記録装置１６からカラ
ープリントとして出力するのに必要な種々の画像処理を
実行するものであり、画像処理部５４と、画像データ変
換部５６とを有する。ここで、画像処理部５４は、後述
する条件設定部４８が設定した画像処理条件に従って、
スキャナ１２によって読み取られファインスキャンメモ
リ４２に記憶された画像データに所定の画像処理を施
し、カラープリントとして所望の濃度、階調および色調
で、カラーペーパ上に、最適、高品質な画像を再生可能
とするものである。このため画像処理部５４は、画像デ
ータに対して、ＬＵＴ，ＭＴＸ演算器、ローパスフィル
タ、加減算器などにより、色バランス調整、階調調整、
色調整、濃度調整、彩度調整、画像歪み補正および電子
変倍やシャープネス強調（輪郭強調；鮮鋭化）などの種
々の画像処理を施す。なお、画像歪み補正処理の詳細に
ついては、後述する。

【００２６】画像データ変換部５６は、画像処理部５４
によって処理された画像データを、例えば３ＤＬＵＴ等
の標準階調ルックアップテーブルを用いて、画像記録装
置１６による画像記録に対応する画像データに変換し
て、画像記録装置１６に供給する。画像記録装置１６
は、ファインスキャンデータ処理部４６から出力される
画像データに基づいて、カラー画像が再現された仕上が
りプリントとして出力するためのものである。

【００２７】条件設定部４８は、プレスキャンデータ処
理部４４の画像処理部５０およびファインスキャンデー
タ処理部４６の画像処理部５４における各種の処理条件
を設定する。この条件設定部４８は、セットアップ部５
８、キー補正部６０およびパラメータ統合部６２を有し
ている。セットアップ部５８は、プレスキャン画像デー
タ等を用いて、ファインスキャンの読取条件を設定して
スキャナ１２に供給し、また、プレスキャンデータ処理
部４４およびファインスキャンデータ処理部４６の画像
処理条件を作成（演算）し、パラメータ統合部６２に供
給する。

【００２８】具体的には、セットアップ部５８は、プレ
スキャンメモリ４０からプレスキャン画像データを読み
出し、プレスキャン画像データから、濃度ヒストグラム
の作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハ
イライト（最低濃度）、シャドー（最高濃度）等の画像
特徴量の算出を行う。算出した画像特徴量から、その画
像の最低濃度よりも若干低濃度でイメージセンサ３２が
飽和するように、ファインスキャンの読取条件、例え
ば、光源２２の光量、可変絞り２４の絞り値、イメージ
センサ３２の（各ＲＧＢ３ラインＣＣＤセンサの）蓄積
時間等を設定する。なお、ファインスキャンの読取条件
は、プレスキャンの読取条件に対して、イメージセンサ
３２の出力レベルに対応する全ての要素を変更してもよ
く、前記絞り値等のいずれか１つの要素のみを変更する
ものでもよく、絞り値と蓄積時間等の複数の要素のみを
変更するものでもよい。さらに、セットアップ部５８
は、濃度ヒストグラムや画像特徴量と、必要に応じて行
われるオペレータによる指示等に応じて、前述の色バラ
ンス調整や階調調整等の画像処理条件を設定する。

【００２９】キー補正部６０は、キーボード１８ａや操
作系１８に設けられたキー（図示せず）によって設定さ
れた濃度（明るさ）、色、コントラスト、シャープネ
ス、彩度等の調整量やマウス１８ｂで入力された各種の
指示等に応じて、画像処理条件の調整量（例えば、ＬＵ
Ｔの補正量等）を算出し、パラメータを設定し、パラメ
ータ統合部６２に供給するものである。パラメータ統合
部６２は、セットアップ部５８が設定した画像処理条件
を受け取り、供給された画像処理条件を、プレスキャン
データ処理部４４の画像処理部５０およびファインスキ
ャンデータ処理部４６の画像処理部５４に設定し、さら
に、キー補正部６０で算出された調整量に応じて、各部
分に設定した画像処理条件を補正（調整）し、あるいは
画像処理条件を再設定する。本実施形態に係る画像歪み
補正を行う画像処理方法を実行する画像処理装置を含む
デジタルフォトプリンタは、基本的に以上のように構成
される。

【００３０】以下、本発明の実施形態の作用を説明す
る。オペレータがフィルムＦ（読み取り対象コマ）に対
応するキャリア２８をスキャナ１２に装填し、キャリア
２８の所定位置にフィルムＦをセットし、仕上げ情報や
作成するプリントサイズ等の必要な指示を入力した後
に、プリントの作成開始を指示する。これにより、スキ
ャナ１２の可変絞り２４の絞り値やイメージセンサ３２
の蓄積時間がプレスキャンの読取条件に応じて設定され
る。その後、キャリア２８がフィルムＦをプレスキャン
に応じた速度で副走査方向に搬送して、プレスキャンが
開始され、フィルムＦがスリット走査されて投影光がイ
メージセンサ３２に結像して、フィルムＦに撮影された
画像がＲ、Ｇ、Ｂに分解されて光電的に低解像度で読み
取られる。

【００３１】プレスキャンによるイメージセンサ３２の
出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換器３
４に送られ、デジタル画像データとされた後に画像処理
装置１４に出力される。画像処理装置１４に入力された
デジタル画像データは、スキャナ補正部３６でイメージ
センサ３２の暗電流等の所定の補正を施した後、ＬＯＧ
変換器３８に送られ、プレスキャンに対応する濃度範囲
で、例えば、濃度Ｄで４の濃度範囲を１０ｂｉｔのデー
タに割りつけるように、ＬＵＴを用いて変換され、プレ
スキャン画像データとされ、プレスキャン画像データ
は、プレスキャンメモリ４０に記憶される。

【００３２】プレスキャンメモリ４０にプレスキャン画
像データが記憶されると、条件設定部４８のセットアッ
プ部５８がこれを読み出し、濃度ヒストグラムの作成、
ハイライトやシャドー等の画像特徴量の算出等を行い、
ファインスキャンの読取条件を設定して、スキャナ１２
に供給し、また、階調調整やグレイバランス調整等の各
種の画像処理条件を設定し、パラメータ統合部６２に供
給する。画像処理条件を受け取ったパラメータ統合部６
２は、これをプレスキャンデータ処理部４４およびファ
インスキャンデータ処理部４６の所定部分（ハードウエ
アおよびソフトウエア）に設定する。

【００３３】プレスキャン画像データはプレスキャンデ
ータ処理部４４によってプレスキャンメモリ４０から読
みだされ、画像処理部５０において設定された画像処理
条件で画像処理され、次いで、画像データ変換部５２で
変換され、シミュレーション画像としてモニタ２０に表
示される。オペレータは、モニタ２０の表示を見て、画
像の確認を行い、必要に応じてキーボード１８ａに設定
された調整キー等を用いて色、濃度、階調等を調整す
る。この調整の入力は、キー補正部６０に送られ、キー
補正部６０は調整入力に応じた画像処理条件の補正量を
算出し、これをパラメータ統合部６２に送る。パラメー
タ統合部６２は、送られた補正量に応じて、画像処理部
５０および５４のＬＵＴやＭＴＸ等を補正する。

【００３４】次に、上記処理の施されたプレスキャン画
像データに対して、本発明の特徴である画像歪み補正処
理を行う。以下、画像歪み補正処理について、図３のフ
ローチャートに沿って説明する。

【００３５】まず、ステップ１００において、画像デー
タから直線部分を検出する。例えば、図４に示すような
画像において、ビルの輪郭７０や電柱の輪郭７２のよう
な直線部分を検出する。これは、画像の歪みがはっきり
わかるのは直線部分であり、直線部分は、自然界よりも
主にビル等の人工的構造物の中にあるからである。この
直線部分の検出方法については、特に限定されるもので
はなく、従来より公知の様々な被写体抽出あるいは図形
認識方法が利用可能である。例えば、第一の方法とし
て、直線図形の認識方法として有名なものの一つにハフ
変換がある。これは、良く知られているように、直交座
標系で表現された対象図形上の各画素の座標を極座標系
に変換し、極座標上での形状により図形を認識するもの
である。

【００３６】また、第二の方法として、エッジトレース
による方法がある。これは、被写体のエッジに沿って追
跡し、エッジを検出するものである。まず各画素に対
し、例えばＳｏｖｅｌ等の微分フィルタを用いて、その
画素の各方向へのエッジ強度（濃度変化値）を演算す
る。そして、各画素について、各方向のエッジ強度の絶
対値の最大値をその画素のエッジ強度とする。次に、エ
ッジトレース開始点を検出する。これは、図５に示すよ
うに、各画素のエッジデータを破線の矢印で示すように
ラスタ方向にスキャンしながら、所定値以上のエッジ強
度を持つ画素Ｐ0 を探索することによって検出される。
次に、エッジトレース開始点Ｐ0 において、エッジ強度
の絶対値が最大となる方向に直交する方向をエッジの方
向として、エッジトレースを開始する。図６に示すよう
に、開始点Ｐ0 からエッジの方向Ｅに対し所定の中心角
（例えば、エッジ方向に対して±１０°）および所定の
半径を有する扇形Ｆの内部において、各画素のエッジ方
向およびエッジ強度を比較し、次のエッジ上の点を探索
する。以下同様にして、エッジトレースを行い、エッジ
を検出する。

【００３７】また、直線部分検出の第三の方法として、
人物領域でない領域、特に室内での柱や窓あるいは屋外
でのビルや電柱等の人工的構造物を検出する被写体抽出
処理による方法がある。この方法も、上記エッジトレー
スと基本的には同様であるが、エッジの探索範囲が、図
７に示すように、各点Ｑ0 からエッジ方向に開いた扇形
Ｆ0 と、エッジ方向に直交する方向に開いた扇形Ｆ1 の
２領域である点で異なる。このような方法によれば、図
７において、点Ｑ1 のような直角の角が簡単に検出でき
る。

【００３８】また、上記第二および第三の方法のよう
に、エッジトレースで直線を検出する場合に、一旦、低
い解像度の画像（プレスキャン画像）で抽出し、抽出エ
リアを限定して、そのエリアにおいて、高い解像度の画
像（ファインスキャン画像）からエッジ抽出処理を行う
ようにしてもよい。また、上記エッジトレースにおいて
は、エッジと見られる線が何本か交わっているような場
合には、探索の方向に優先度を設けて、直進優先、その
次は直進方向に直交する方向を優先する等のようにし
て、なるべく直線部分を検出し易くするようにしてもよ
い。

【００３９】このようにして、直角に近い角度で連結ま
たは交差する２本の直線部あるいは略平行の位置関係に
ある２本の直線部が抽出された場合には、これらの直線
部によって囲まれる（挟まれる）領域は、例えば図４に
示すようなビルあるいは柱等の人工的構造物であると判
定される。このような人工的構造物は、自然物と異なり
本来直線部からなっており、画像が直線からずれている
場合には、画像が歪んでいるとして、以下のようにし
て、画像の歪みの補正を行う。すなわち、直線部分の検
出が終了すると、次に、ステップ１１０において、検出
した直線部分の歪みの度合い（歪曲収差特性）の検出が
行われる。すなわち、検出した線分（曲線）をｎ等分し
て、各点毎に、線分（曲線）の両端点を結んだ直線上に
各点が載るように、ずれ量（歪曲収差特性）を求める。

【００４０】今、例えば図８に示すような、本来直線と
思われる部分（曲線）Ｃが検出されているとする。この
とき、曲線Ｃの両端Ｃ0 、Ｃ1 の座標はわかっている。
この両端Ｃ0 およびＣ1 を結ぶ直線Ｌが本来の被写体で
あると考えられる。図８に示すように、曲線Ｃをｎ等分
（図８では、５等分している。）し、各分点Ｄi が、直
線Ｌからどれだけずれているかを求める。このずれの度
合い（歪曲収差特性）がわかれば、その分だけ座標変換
等により補正することで本来の直線にすることができ
る。

【００４１】各点Ｄi の位置情報（例えば、画像の中心
からの座標位置）から、この位置情報をパラメータとす
る３次関数の各次係数を決定することにより、上記歪曲
収差特性が検出できる。これは、一般的に、レンズの歪
曲収差特性は、レンズの光軸すなわちフィルムＦに撮影
された画像の中心からの距離をパラメータとする３次関
数で、ある程度まで近似することができることを利用し
たものである。なお、上記検出される歪曲収差特性は、
通常Ｒ、ＧおよびＢの３原色の基準となる色Ｇの画像デ
ータによって行われる。また、各色別に直線部を切り出
す処理を行った後、端点（図７のＣ0 、Ｃ1 ）の座標が
３色間で一致する様に調整することで、色ずれも修正す
ることが出来る。例えば、Ｇ色での検出結果にＲ色およ
びＢ色での検出点の座標を合わせるものとする。

【００４２】次に、ステップ１２０において、各点毎
に、直線上に載るように、歪み補正を行う。すなわち、
上記ステップ１１０において、すでに図８に矢印で示す
各点のずれ量（歪曲収差特性）を表す３次関数が求めら
れているので、これを用いて、各画素の適正位置を算出
し、これにより、各画素の画像データを補間演算するこ
とによって、フィルムに撮影された画像の歪みを補正し
た画像データを得ることができる。なお、以上の画像歪
み補正処理は、自動で行われるが、その結果をモニタ２
０で見て、オペレータがさらにその補正の強度を調整で
きるようにしてもよい。

【００４３】画像歪み（歪曲収差）の補正されたプレス
キャン画像は、さらに、電子変倍、シャープネス強調処
理や粒状抑制、あるいは必要に応じて覆い焼き処理等そ
の他の画像処理がなされ、モニタ２０に表示するため画
像データ変換部５２で画像変換される。以上のプレスキ
ャン画像データに対して行われた画像歪み補正その他の
各種画像処理の処理条件は、パラメータ統合部６２から
ファインスキャンデータ処理部４６の画像処理部５４に
設定される。そして、これらの処理条件に基づいて出力
用画像データを得るために、画像処理部５４において、
ファインスキャン画像データに対して、プレスキャン画
像データの画像歪み補正等の処理と同様の各種画像処理
が行われる。これにより、歪みのない、高画質な画像が
再現されたプリントを安定して出力することができる。

【００４４】なお、本実施形態では、始めプレスキャン
画像データに対して画像歪み補正等の画像処理を行って
モニタ２０に表示したが、この場合には、後で再び同じ
処理をファインスキャン画像データに対しても行う必要
があるため、はじめから直接ファインスキャン画像デー
タに対して画像歪み補正等の画像処理を行って、その結
果をモニタ２０に表示するようにしてもよい。

【００４５】また、前述したように、カメラによって撮
影された画像の歪み（歪曲収差）は、一般に、カメラに
装着されるレンズの性能に起因して発生するものであ
る。従って、フィルム１件分、あるいはデジタルカメラ
の場合には注文画像全体について、これらの画像は同じ
カメラで撮影されたものであり、同じ歪曲収差特性を持
つと考えられる。そこで、これらの画像全体についての
データを集積して、各画像中の直線部分の歪み（歪曲収
差）を解析し、歪み補正式を導出しておけば、これら１
件分、あるいは全注文画像については、同一の歪み補正
式で歪み補正をすることができ、非常に効率的である。
さらに、この補正式を例えば顧客情報と共にストアして
おけば、もし後でまた同じレンズを装着したカメラによ
って撮影されたフィルムを処理することがあれば、この
補正式を用いて画像歪み補正を行うこともできる。

【００４６】上記例では、撮影カメラレンズの歪曲収差
を想定して、歪曲収差特性を表す３次関数の各次係数を
決定し、全画面に補正処理を適用しているが、この処理
を人工的構造物の検出された領域に局所的に適用する様
にしてもよい。ところで、別のプリント処理例として、
プリントのコピープリント注文のケース、またはプリン
トやフィルムコマを顧客所有のスキャナで読み取ったデ
ジタル画像データを持ち込み、プリント注文するケース
がある。この様な場合、読み取り対象プリントの作成時
の歪みや、顧客スキャナ読み取り系の歪みが加わる可能
性があるため、歪み特性として、上記３次関数を用い
ず、各座標における歪み量（ｘ、ｙ方向）を補正用テー
ブルとして割り出し、各エリア毎に歪み補正値を計算す
る様にしてもよい。

【００４７】以上説明したように、本実施形態によれ
ば、自動的に被写体の直線部分を抽出し、画像歪み補正
をするようにしたため、オペレータの負荷が軽減され、
効率的に撮影レンズに起因する画像の歪みを補正して、
高画質なプリントを出力することができる。

【００４８】以上、本発明の画像処理方法について詳細
に説明したが、本発明は、以上の例には限定されず、本
発明の要旨を逸脱しない範囲において、各種の改良や変
更を行ってもよいのはもちろんである。

【００４９】

【発明の効果】以上説明した通り、本発明によれば、自
動的に被写体の直線部分を抽出し、画像歪み補正をする
ようにしたため、オペレータの負荷が軽減され、効率的
に撮影レンズに起因する画像の歪みを補正して、高画質
なプリントを出力することが可能となった。

【図面の簡単な説明】

【図１】本発明に係る画像処理方法を実行する画像処
理装置を含むデジタルフォトプリンタの概略を示すブロ
ック図である。

【図２】図１の画像処理装置の概略を示すブロック図
である。

【図３】本実施形態の画像歪み補正処理の流れを示す
フローチャートである。

【図４】画像歪み補正の対象となる画像の例を示す説
明図である。

【図５】エッジトレース開始点を検出する方法を示す
説明図である。

【図６】直線部分検出の第二の方法を示す説明図であ
る。

【図７】直線部分検出の第三の方法を示す説明図であ
る。

【図８】画像歪み補正処理を示す説明図である。

【符号の説明】

１０デジタルフォトプリンタ１２スキャナ１４（画像）処理装置１６画像記録装置１８操作系１８ａキーボード１８ｂマウス２０モニタ２２光源２４可変絞り２６拡散ボックス２８キャリア３０結像レンズユニット３２イメージセンサ３４Ａ／Ｄ変換器３６スキャナ補正部３８ＬＯＧ変換器４０プレスキャン（フレーム）メモリ４２ファインスキャン（フレーム）メモリ４４プレスキャンデータ処理部４６ファインスキャンデータ処理部４８条件設定部５０、５４画像データ変換部５８セットアップ部６０キー補正部６２パラメータ統合部７０ビルの輪郭７２電柱の輪郭

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD20 CH01 5C022 AA13 AB51 AC42 AC51 CA07 5C023 AA10 AA37 BA02 CA01 5C077 LL02 MM03 MP08 PP47 PP59 PP65 PQ12 SS01 TT09

Claims

【特許請求の範囲】

【請求項１】入力画像データから被写体の直線部分を検
出し、その被写体本来の直線部分の、画像上における歪み度合
いを検出し、前記歪み度合いに基づいて、前記検出された直線部分
を、画像上における本来の直線部分の位置に補正する歪
み補正式を導出し、前記歪みを補正することを特徴とす
る画像処理方法。
【請求項２】前記被写体の直線部分の検出において、略
直角で連結もしくは交差する複数の直線部分、または略
平行な位置関係にある複数の直線部分を検出した場合に
は、前記複数の直線部分に囲まれる領域は人工的構造物
であると判定する請求項１に記載の画像処理方法。