JP2005190097A - 画像補正決定方法とその方法を用いた画像処理装置 - Google Patents

画像補正決定方法とその方法を用いた画像処理装置 Download PDF

Info

Publication number
JP2005190097A
JP2005190097A JP2003429684A JP2003429684A JP2005190097A JP 2005190097 A JP2005190097 A JP 2005190097A JP 2003429684 A JP2003429684 A JP 2003429684A JP 2003429684 A JP2003429684 A JP 2003429684A JP 2005190097 A JP2005190097 A JP 2005190097A
Authority
JP
Japan
Prior art keywords
correction
image
image data
degree
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003429684A
Other languages
English (en)
Other versions
JP4207125B2 (ja
Inventor
Koji Kita
耕次 北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2003429684A priority Critical patent/JP4207125B2/ja
Priority to US11/020,047 priority patent/US7589863B2/en
Priority to CNB2004101037014A priority patent/CN1322736C/zh
Publication of JP2005190097A publication Critical patent/JP2005190097A/ja
Application granted granted Critical
Publication of JP4207125B2 publication Critical patent/JP4207125B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167Processing or editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6011Colour correction or control with simulation on a subsidiary picture reproducer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6011Colour correction or control with simulation on a subsidiary picture reproducer
    • H04N1/6013Colour correction or control with simulation on a subsidiary picture reproducer by simulating several colour corrected versions of the same image simultaneously on the same picture reproducer

Abstract

【課題】モニタに表示された補正再現画像を確認しながら撮影コマ画像に対する画像補正の補正度を決定する作業を効率的かつ効果的なものとする技術を提供する。
【解決手段】撮影コマ画像を表す画像データを元画像データとして取得し、この元画像データに対して所定補正度での画像補正を施して補正画像データを生成し、この補正画像データに基づく補正再現画像をモニタに表示し、補正再現画像を確認しながら前記元画像データに対する画像補正の補正度を決定する。その際、補正画像データの生成時に複数の異なる補正度で前記元画像データを画像補正することによって生成された複数の補正画像データの内から選択された複数の補正画像データに基づく補正再現画像が補正度の順序でモニタに表示される。
【選択図】 図9

Description

本発明は、撮影コマ画像を表す画像データを元画像データとして取得し、前記取得された元画像データに対して所定補正度での画像補正を施して補正画像データを生成し、前記補正画像データに基づく補正再現画像をモニタに表示し、前記補正再現画像を確認しながら前記元画像データに対する画像補正の補正度を決定する画像補正決定方法、及びその方法を用いた画像処理装置に関する。
写真フィルムに形成された撮影コマ画像をフィルムスキャナを用いてデジタル化して得られた画像データや、デジタルカメラなどのデジタル撮影機器によって直接撮影コマ画像をデジタル化して得られた画像データに基づいて露光ヘッドから発せられる光ビームを制御し、この制御された光ビームによって感光材料(印画紙)を走査露光して画像を形成し、写真プリントを出力するデジタルミニラボ(写真プリント装置)が近年広まっている。このような写真プリント装置では、入力された画像データに対して、適正な画像補正、例えば、露出オーバや露出不足を解消する濃度補正、逆光やストロボ撮影等に起因する画像の飛びやつぶれの補正、甘いフォーカスを改善する鮮鋭化補正などを施すことにより高品質な写真プリントを出力することが可能となっている。さらには写真プリントにおける画像処理技術の向上により、撮影時に使用された撮影レンズの収差特性に起因する倍率色収差、歪曲収差、周辺光量不足などによる画像劣化、そして広角レンズを使用した際に生じうる極端なあおり歪みによる画像の不自然さも補正することが可能となっている。
しかしながら、このような画像補正は可能であるとしても、一般にはモニタにおける再現画像を用いたオペレータの目視による良否判断が要求されるので、オペレータの迅速かつ正確な判断を期待するためにはその際の操作性が重要となる。
撮影レンズを用いて光学的に撮影された画像に対して、撮影レンズの情報が得られない場合でも、撮影レンズに起因する歪曲収差補正や倍率色収差補正や周辺光量補正やピントボケ等の画像品質劣化補正を適切に行うために、撮影レンズを用いて光学的に撮影された画像から得られた画像データに基づいて再現画像を表示するモニタと、このモニタに表示された再現画像に基づいて、撮影レンズに起因する前記画像品質の劣化の補正の実行・非実行を指定する補正指定部と、この指定に応じて前記画像品質の劣化の補正を行う際モニタに表示された再現画像に応じて画像品質の劣化の補正強度を指定して画像品質の劣化の補正を行うとともに、この画像品質の劣化の補正の度に補正後の補正再現画像をモニタに表示する仮補正手段と、この仮補正手段によってモニタに表示された補正再現画像により補正強度を確定する補正強度確定手段と、この確定した補正強度に基づいて補正を行って、出力画像データを得る補正手段とを備えた画像処理装置が提案されている(例えば、特許文献1参照。)。
この公知の画像処理装置におけるレンズ補正処理画面には、テスト処理される画像として、仮補正前の画像が画面右側に表示され、また、オペレータが補正強度を確定してよいか判断する画像として、仮補正後の画像が画面左側に表示される。仮補正前の画像は、画像補正が必要であるとオペレータが判断したフィルムに撮影された画像の再現画像(補正されていない)もしくは、予め定められた補正強度を用いて補正した補正後の画像であり、レンズ補正処理画面の下部には、シャープネス補正欄、周辺光量補正欄、縦方向歪み補正欄および横方向歪み補正欄、補正強度を定める補正レベル欄、仮補正ボタンが設けられ、仮補正ボタンをマウスでクリックするたびに、補正レベルが昇降し、それに応じて補正式に用いられる係数、例えば高次多項式では各項の係数が変化し、この係数の変化した補正式によって補正強度が定まり、この補正強度によって仮補正が行われ、仮補正後の画像がモニタに表示される。
このような画像処理装置における画像補正作業では、モニタには基準となる画像と仮補正後の画像が表示されるだけであり、例えば、基準となる画像に対してより強く補正された画像とより弱く補正された画像を同時に見ながら比較するといったことはできない。このため、ある程度適正な画像に近づくと、そこからわずかに異なる補正量を何度か仮設定しながら仮補正後の画像を表示させていく必要があり、その操作性の悪さから画像補正作業が長くかかるという問題点がある。
特開2000−324339号公報(段落番号0018、0042、図5)
上記実状に鑑み、本発明の課題は、モニタに表示された補正再現画像を確認しながら撮影コマ画像に対する画像補正の補正度を決定する作業を効率的かつ効果的なものとする技術を提供することである。
上記課題を解決するため、撮影コマ画像を表す画像データを元画像データとして取得し、前記取得された元画像データに対して所定補正度での画像補正を施して補正画像データを生成し、前記補正画像データに基づく補正再現画像をモニタに表示し、前記補正再現画像を確認しながら前記元画像データに対する画像補正の補正度を決定する、本発明による画像補正決定方法では、さらに、前記補正画像データの生成時に複数の異なる補正度で前記元画像データを画像補正することによって複数の補正画像データが生成され、前記生成された複数の補正画像データの内から選択された複数の補正画像データに基づく補正再現画像が補正度の順序でモニタに表示される。
この構成によれば、画像補正の対象となっている撮影コマ画像を表す画像データに対して異なる複数の補正度(補正度が0=無補正も含む)でもって画像補正された結果としての複数の補正再現画像がモニタに表示されるので、オペレータはこの表示された補正再現画像を確認しながら所望の画像を作り出す補正度を決定することができる。その際、補正度が異なる複数の補正再現画像が表示されるということは、例えば、画像補正の対象となっている撮影コマ画像に関する、連続した異なる補正画像を確認することができるので、補正度の選択が効率的かつ効果的に行われる。特に、最終的に絞り込まれた補正度の中から最適補正度を選択する時点では、表示されている各補正再現画像のもつ補正度の差がわずかであってもその選択が容易となる。
また、最初の段階で前設定されている種々の補正度でもって同時にモニタ表示される補正再現画像の数より多くの補正画像データを生成しておくことで、連続的に異なる補正度をもつ補正再現画像を瞬時にモニタに表示していくことも可能となる。このことは、迅速な補正度決定に大きな貢献を果たす。
オペレータによる補正再現画像の確認及び微妙な補正度の調整が必要となる画像補正として、撮影時に使用された撮影レンズの収差特性に起因する倍率色収差、歪曲収差、周辺光量不足などによる画像劣化、撮影レンズとして広角レンズを使用した際に生じうる極端なあおり歪みによる画像の不自然さなどの補正が挙げられる。このため、本発明の技術は、特に撮影レンズに起因する画像品質の低下を改善する画像補正に適している。
また、一般的に上述したような収差や歪みは、収差や歪みの生じていない点又はほとんど生じていない点を基準点として二次元方向に広がっているので、その補正度も二次元的な広がりで設定する必要がある。このため、本発明の好適な実施形態では、前記補正度には撮影コマ画像における画像補正方向を示す補正方向度と補正の強さを示す補正強度が含まれている。より具体的には、補正度を要素とする二次元マトリックスを想定し、各補正度をその配列位置に応じて変えていくことにより、補正方向度と補正強度を考慮した補正度群を作成するとよい。このような補正度マトリックスを用いて元画像データを補正して得られた補正画像データを補正度マトリックスの配列位置に関連づけることにより、補正方向及び補正強度別で整理された補正画像データ群が作り出される。そして、このマトリックス化された補正画像データ群の1つのエリアを指定してそれらの補正再現画像をモニタ上でサブマトリックス的に表示させることで、オペレータは補正方向性を有する補正再現画像を見ながら適正な補正度で補正された撮影コマ画像を効率よく選択することができる。その際、モニタにサブマトリックス的に表示される補正再現画像の好適な数、つまり表示マトリックスサイズはモニタの大きさや解像度、及びオペレータの好みによって異なるので、任意に設定可能にしておくと好都合である。
撮影レンズに起因する収差や歪みは、撮影レンズ又は撮影条件毎に大きく異なるので、前設定されている補正度のレンジも大きなものとなっている。このため、オペレータが所望する補正度で補正された補正再現画像にできるだけ迅速に到達することができるように、本発明の好適な実施形態の1つでは、マトリックス表示された補正再現画像の1つが指定されることにより、この指定された補正再現画像を中心としたマトリックス表示が作り出されるように構成されている。これにより、オペレータが所望する補正方向の最外側の補正再現画像を連続的に指定していくことにより最適な補正再現画像にスムーズに到達することができる。
レンズ交換式でないカメラにおける撮影レンズに起因する収差は、顧客から写真プリント依頼時に渡される写真フィルムやメモリカードから取得される全ての撮影コマ画像に共通していると考えられるので、特定の(最初の1コマ)撮影コマ画像に対して決定された補正度が、他の撮影コマ画像に対する画像補正にも適用するように構成することは、好都合である。
本発明では、さらに、上述した画像補正決定方法を採用した画像処理装置も権利の対象としており、その画像処理装置では、撮影コマ画像を表す画像データを元画像データとして受け取る画像入力部と、前記元画像データに対する特定の画像補正のための補正度を設定する補正度設定部と、この設定された補正度で前記元画像データに対して画像補正を施して補正画像データを生成する画像処理部と、前記補正画像データに基づく補正再現画像をモニタに表示させるとともに前記補正再現画像を確認しながら前記元画像データに対する画像補正の補正度を決定する画像補正管理部とを備え、前記補正度設定部が複前記元画像データの画像補正のために複数の異なる補正度を設定し、かつ前記画像補正管理部が前記複数の補正度に基づいて生成された複数の補正画像データの内から選択された複数の補正画像データに基づく補正再現画像が補正度の順序でモニタに表示される。当然ながら、このような画像処理装置も上述した画像補正決定方法におけるすべての作用効果を得ることができる。特に、好適な実施形態として、撮影コマ画像における画像補正方向を示す補正方向度と補正の強さを示す補正強度によって規定される複数の前記補正度が前記補正方向度と前記補正強度に基づいて要素配置された補正度マトリックスの形で補正度ルックアップテーブルとして前記補正度設定部に備えるならば、このような補正度ルックアップテーブルを用いて元画像データを補正して得られた補正画像データを補正度マトリックスの配列位置に関連づけることにより、補正方向及び補正強度別で整理された補正画像データ群を作り出し、表示することができる。このマトリックス化された補正画像データ群の1つのエリアを順次指定していくことで、オペレータは補正方向性を有する補正再現画像を見ながら適正な補正度で補正された撮影コマ画像を効率よく選択することができる。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。
本発明の実施の形態について、図面に基づいて説明する。
図1は本発明による画像補正決定方法を採用した画像処理装置を組み込んでいる写真プリントシステムを示す外観図であり、この写真プリントシステムは、印画紙Pに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション1Bと、現像済み写真フィルム(以後単にフィルムと称する)2aやデジタルカメラ用メモリカード2bなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション1Bで使用されるプリントデータの生成・転送などを行う操作ステーション1Aとから構成されている。
この写真プリントシステムはデジタルミニラボとも称せられるものであり、図2からよく理解できるように、プリントステーション1Bは2つの印画紙マガジン11に納めたロール状の印画紙Pを引き出してシートカッター12でプリントサイズに切断すると共に、このように切断された印画紙Pに対し、バックプリント部13で色補正情報やコマ番号などのプリント処理情報を印画紙Pの裏面に印字するとともに、プリント露光部14で印画紙Pの表面に撮影画像の露光を行い、この露光後の印画紙Pを複数の現像処理槽を有した処理槽ユニット15に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア16からソータ17に送られた印画紙P、つまり写真プリントPは、このソータ17の複数のトレイにオーダ単位で仕分けられた状態で集積される(図1参照)。
上述した印画紙Pに対する各種処理に合わせた搬送速度で印画紙Pを搬送するために印画紙搬送機構18が敷設されている。印画紙搬送機構18は、印画紙搬送方向に関してプリント露光部14の前後に配置されたチャッカー式印画紙搬送ユニット18aを含む複数の挟持搬送ローラ対から構成されている。
プリント露光部14には、副走査方向に搬送される印画紙Pに対して、主走査方向に沿って操作ステーション1Aからのプリントデータに基づいてR(赤)、G(緑)、B(青)の3原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット15は、発色現像処理液を貯留する発色現像槽15aと、漂白定着処理液を貯留する漂白定着槽15bと、安定処理液を貯留する安定槽15cを備えている。
前記操作ステーション1Aのデスク状コンソールの上部位置には、フィルム2aからその撮影コマ画像を表す画像データを取得するフィルムスキャナ20が配置されており、デジタルカメラ等に装着される撮影画像記録媒体2bとして用いられている各種半導体メモリやCD−Rなどから撮影コマ画像を表す画像データを取得するメディアリーダ21は、この写真プリントシステムのコントローラ3として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ23、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード24やマウス25も接続されている。
この写真プリントシステムのコントローラ3は、CPUを中核部材として、画像処理を始め写真プリント出力のための種々の処理を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図3に示されているように、本発明に特に関係する機能部としては、スキャナ20やメディアリーダ21によって読み取られた撮影画像データを取り込んで次の処理のために必要な前処理を行うとともに画像補正における元画像データとしてメモリ30に転送する画像入力部31と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力(キーボード24やマウス25などのポインティングデバイスによる)から制御コマンドを生成するグラフィックユーザインターフェース(以下GUIと略称する)を構築するGUI部32と、メモリ30に展開されている元画像データに対する特定の(画像補正例えば撮影レンズに起因する画質不良を改善する画像補正)のための補正度を補正度ルックアップテーブル34を用いて設定する補正度設定部33と、この補正度設定部33で設定された補正度で元画像データに対して特定の画像補正を施すとともにGUI部32から送られてきた制御コマンドや直接キーボード24等から入力された操作命令に基づいて元画像データにフィルタ処理などの画像処理を施す画像処理部35と、補正画像データに基づく補正再現画像をモニタに表示させるとともにこの補正再現画像を確認しながら元画像データに対する画像補正の補正度を決定する画像補正管理部36と、補正画像データに基づく補正再現画像及び色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像、さらにはGUI部32から送られてきたグラフィックデータをモニタ23に表示させるためのビデオ信号を生成するビデオ制御部37と、最終的な補正画像データに基づいてプリントステーション1Bに装備されているプリント露光部14に適したプリントデータを生成するプリントデータ生成部38と、顧客の要望に応じて生の撮影画像データや画像補正が完了した補正撮影画像データなどをCD−Rに書き込むための形式にフォーマットするフォーマッタ部39などが挙げられる。
画像入力部31は、撮影コマ画像を記録している媒体がフィルム2aの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ30に送り込み、撮影コマ画像を記録している媒体がメモリカード2bなどの場合取り込んだ撮影画像データにサムネイル画像データ(低解像度データ)が含まれている場合はモニタ23での一覧表示などの目的で使用するため撮影画像の本データ(高解像度データ)とは別にメモリ30に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出してサムネイル画像データとしてメモリ30に送り込む。このように、1つの撮影コマ画像を表す画像データとして高解像度データと低解像度データの2種類をメモリ30に展開しておき、画像補正における補正度の設定作業時には低解像度データを用い、この低解像度データに基づいて決定された補正度を用いて高解像度データを画像補正するような構成を採用すると、補正度決定作業のコントローラ3の計算負荷が低減できる。
次に、上述したGUI部32と補正度設定部33と補正度ルックアップテーブル34と画像処理部35と画像補正管理部36との連係による、本発明の補正度決定の基本概念を周辺光量補正を例にとって図4〜図6を参照しながら詳説する。
周辺光量の不足は、画像中心から周辺に向かって、コサイン4乗則に従って光量が低下するレンズ特性に起因するものであり、周辺光量不足を補う補正は画像中心から同心円状に広がる画素に対してその明るさを上げる処理となるが、その周辺光量不足が同心円状に等しく変化するもの以外に縦長楕円状又は横長楕円状に変化するものや、周辺部の光量が中心部の光量よりも明るいといった逆のパターンもあることから、その補正では、設定された画像中心から同心円状、縦長楕円状又は横長楕円状に、かつその明るさを上げる処理と下げる処理が要求されることになる。また、その周辺光量の不足量もレンズによって種々であるので、最適な補正量は広い範囲で分布することになる。このような画像補正の補正量は、一般には補正式の係数を変化させることにより定められるため、ここでは種々の係数によって規定された補正式(補正量)が前もってマトリックス化されて補正度ルックアップテーブル34に格納されている。
この補正度のためのマトリックスの概念図は、図4に示すとおりであり、ここでは補正度(補正式)は(2n+1)×(2n+1)個(nは正の整数)用意されており、各補正度はG(x,y)で示されており、(xとyは1〜n+1の数をとることになる)、中心の要素である補正度G(n,n)は無補正を示しており、中心から右側の領域に配列された補正度は周辺部の明るさを増す補正を行うものであり、中心から左側の領域に配列された補正度は周辺部の明るさを減じる補正を行うものであり、中心から上側の領域に配列された補正度は中央部の形状を縦長楕円状としてその周辺光量を修正する補正を行うものであり、中心から下側の領域に配列された補正度は中央部の形状を横長楕円状としてその周辺光量を修正する補正を行うものとなっている。いずれにしても、中心から離れるほどその補正強度は強くなっている。
このようにマトリックス配列された各補正度は補正度ルックアップテーブル34に格納されているので、ここから読み出された補正度を用いて元画像データに対して画像補正を施すと、(2n+1)×(2n+1)個の補正画像データが生成され、そのうち上述した無補正を表す補正度G(n,n)に対応する補正画像データは実際には無補正の画像データであるが、ここでは特に区別する必要がある場合を除いて便宜上全て補正画像データと呼ぶことにする。これらの補正画像データを上述した補正度のマトリックス配列に対応させると、模式的にはこれらの画像データは図5に示すようにマトリックス状にメモリ30に展開されていると考えると都合はよい。図5では、各画像データはIM(x,y)(xとyは1〜n+1の数をとる)で示されており、中心に位置する無補正の画像データはIM(n,n)であり、これは元画像データと同じである。すなわち、例えば、n=50とすると、この段階で無補正画像データも含めて101×101=10201個の異なる補正画像データが作成されることになる。
これらの補正画像データに基づく補正画像を全てモニタ23に表示することはできないので、比較観察可能な個数だけ、例えば9個表示する。その際、最初のモニタ表示画面としては、図6aに示すように、3×3駒表示として、真ん中にはIM(n,n)で示される補正画像データ(実際は元画像データ)に基づく再現画像としての撮影コマ画像が表示される。この無補正の補正画像データに基づく画像は実際には無補正の再現画像であるが、ここでも特に区別する必要がある場合を除いて便宜上全て補正再現画像と呼ぶことにする。この中心の再現画像の周囲にはIM(n,n)に隣接する補正画像データIM(n-1,n-1)・・・,IM(n+1,n+1)に基づく補正再現画像(撮影コマ画像)が表示される。つまり、このモニタ画像では、補正なしの再現画像を中心として、右側には設定中心から円状に周辺部の明るさをわずかに増加した補正再現画像が、右斜め上側には設定中心から縦長楕円状に周辺部の明るさをわずかに増加した補正再現画像が、右斜め下側には設定中心から横長楕円状に周辺部の明るさをわずかに増加した補正再現画像が、左側には設定中心から円状に中心部の明るさをわずかに増加した補正再現画像が、左斜め上側には設定中心から縦長楕円状に中心部の明るさをわずかに増加した補正再現画像が、右斜め下側には設定中心から横長楕円状に中心部の明るさをわずかに増加した補正再現画像が、真上側や真下側には隣接する補正再現画像の中間的な画像が表示されることになる。
さらに、このように最初に表示された補正画像から所望の補正画像への方向性をもつものを選択すると、選択された補正画像に対応する補正画像データを中心として図5に示すマトリックス配列においてその周囲に位置する補正画像データ群に基づく補正再現画像がモニタ23に表示される。例えば、図6aにおいて選択された補正画像データがIM(n-1,n+1)とすれば、図6bに示すように、左下に補正画像データIM(n,n)に対応する補正再現画像、右上に補正画像データIM(n,n)に対応する補正再現画像が表示される。つまり、ここで表示された補正再現画像群は最初に表示された補正再現画像群に較べて、図5に示すマトリックスにおいて中心から右斜めに移動しているので、縦長楕円状に周辺部の明るさをさらに増加した傾向をもつものとなっている。このように図5に示された補正画像データのマトリックスにおいて連続的に所定のサブマトリックスに含まれる補正画像データに基づく補正再現画像群が表示されるので、所望の画像補正された補正再現画像に迅速かつ確実に到達することができる。このサブマトリックスに含まれる補正画像データに基づく補正再現画像群の連続的な表示は、予め補正度ルックアップテーブル34に格納されている補正度マトリックスを用いて全ての補正画像データが生成されているので、瞬時に行われる。
処理時間の短縮のために、上述の補正画像データは低解像度画像データを用いて行われるが、上述したように補正方向で規定されながら連続的に表示された補正再現画像群から最適なものが決定されると、その最適補正再現画像を作り出すための補正度が記憶され、写真プリント出力の際には、この記憶された補正度を利用して高解像度画像データに対して画像補正処理を施すことになる。
次にこの写真プリントシステムにおいて、撮影コマ画像をモニタ画面でチェックしながら、必要に応じて特に撮影レンズに起因する画像補正を行う際の典型的な流れを説明する。
顧客がプリントソースとして持参してきた写真記録メディアの種別に応じて、スキャナ20またはメディアリーダ21が用いられ、いずれにしても撮影コマが画像をデジタル化した取得された画像データが高解像度画像データと低解像度画像データの2形態で画像入力部31を通じてメモリ30に送り込まれる。
画像データがメモリ30にロードされると、画像データに対応する撮影コマ画像が、図7に示されているプレジャッジ画面と呼ばれている操作入力画面40の撮影画像表示枠41に順次表示される。図7では、6コマ表示画面が選択されている。各撮影画像表示枠41の下側には色濃度補正設定エリア42とプリント枚数設定エリア43が配置されている。色濃度補正設定エリア42には「イエロー」、「マゼンタ」、「シアン」、「濃度」の設定枠が設けられており、補正量の「N」はニュートラルを表し補正なしを意味している。プリント枚数設定エリア43にはプリント枚数入力枠が設けられており、「パス」はプリントを行わないことを意味している。プレジャッジ画面40の下方にはプリント条件表示欄44が配置されており、この写真プリント出力に適用されたプリントチャンネル名称の表示や、このプリントチャンネルに含まれているプリントサイズやインデックスプリントの要否やメディア出力の要否などが示されている。プリントサイズは仕上がり写真プリントPの大きさを示すものであり、この実施形態では印画紙幅と送り長さでプリントサイズが決定される。このプレジャッジ画面40において各撮影コマ画像に対する各種補正設定やプリント枚数設定が完了すると、対応する撮影画像データはプリントデータ生成部38に送られ、プリントデータに変換される。
あおり歪みを含む撮影レンズに起因する画像品質の低下を改善する画像補正の補正度を設定する処理を行う場合には、プレジャッジ画面40において、そのような特別な処理対象となる撮影コマ画像をマウス25のダブルクリックなどによって指定することで、図8に示すような補正メイン画面50が表示される。補正メイン画面50の中央には拡大画像表示エリア51が配置されており、右端には、撮影コマ画像の内で拡大画像表示エリア51で表示されている部分を枠線で示す表示確認エリア52、補正の基準となる中心座標を示す中心座標確認エリア53、周辺光量補正ボタン54、歪み補正ボタン55、台形補正ボタン56が配置されている。表示確認エリア52の枠線をマウス25を用いて移動させることにより拡大画像表示エリア51に表示される部分を変更することができ、表示サイズエリア52aの拡大率を変更することにより拡大画像表示エリア51に表示される画像を拡大・縮小することができる。また、補正の基準となる中心座標の設定は、拡大画像表示エリア51に表示されているクロスラインをドラッグアンドドロップすることで調整することができる。
この補正メイン画面50において、周辺光量補正ボタン54をクリックすることで図9に示された周辺光量補正画面60が、歪み補正ボタン55をクリックすることで図10に示された歪み補正画面70が、台形補正ボタン56をクリックすることで図11に示された台形補正画面80が表示され、それぞれの画像補正のための補正度の設定作業が行われる。
これらの補正画面はほぼ共通した形態を備えており、中央には、上述した9つの画像データIM(x,y)に基づく補正再現画像を表示する再現画像マトリックス表示エリア100が配置され、右領域には、補正再現画像の内で再現画像マトリックス表示エリア100の各再現画像エリアで表示されている部分を枠線で示す表示確認エリア101と、補正度ルックアップテーブル34に格納されている補正度マトリックスを用いて生成された全ての補正画像データのマトリックスをマップ化して再現画像マトリックス表示エリア100で表示されている補正再現画像群を視認可能に色分けしている補正マップ102が配置されている。また、再現画像マトリックス表示エリア100の4つのコーナ部と4つの中点部の外側に画像補正の形態ないしは方向性を示すマークを有するアイコンボタン103が設けられており、このアイコンボタン103をクリックすることで再現画像マトリックス表示エリア100に表されている補正再現画像群がクリックされたアイコンボタン103の方向に1要素分移動した補正再現画像群に書き換えられる。また、補正マップ102に表示されている色分けされた補正再現画像群をマウス25の操作により移動させることにより、再現画像マトリックス表示エリア100で表示される補正再現画像群(3×3のサブマトリックス)をジャンプ変更することが可能である。
各補正画面において、OKボタン104をクリックすることにより、その時点で再現画像マトリックス表示エリア100の中央に表示されている補正再現画像を作り出すための補正度が記憶され、写真プリント出力のための高解像度画像データに対する画像補正に用いられる。なお、キャンセルボタン105をクリックすると前の画面に戻り、補正作業を1段階前の状態へ戻すことができる。
次に、上述したオペレータによる画像補正の補正度設定の手順を図12のフローチャートを用いて説明する。
まず、この画像補正ルーチンがスタートすると、補正メイン画面50が表示されるので(#01)、補正の基準となる中心座標を設定する(#02)。この中心座標としては歪み等が生じていない又はほとんど生じていない点を選ぶとよい。次に、所望する画像補正の項目を選択する(#03)。この実施形態では、画像補正項目として「周辺光量補正」、「歪み補正」、「台形補正」があるが、ここでは周辺光量補正が選択されたと仮定するが、他の画像補正項目が選択されたとしても実質的に同一な手順となる。
周辺光量補正のための補正度マトリックスを補正度ルックアップテーブル34から読み出す(#04)。この補正度マトリックスには前述したように101×101個の補正度(補正式)が含まれており、この補正度をもって元画像データに対して画像補正処理を施し、101×101個の補正画像データ群を得て(#05)、これらの補正画像データに対して図5に示すようなマトリックス化を施す。
続いて、周辺光量補正画面60を表示するために、再現画像マトリックス表示エリア100の中央に表示される補正再現画像のための補正画像データを設定し(#07)、その周辺の8つの画像データも設定する(#08)。ステップ#07と#08で設定された画像データに基づいて再現画像マトリックス表示エリア100に9つの補正再現画像を表示する(#09)。
周辺光量補正画面60において、OKボタン104がクリックされることで補正度が決定されたかどうか(#10)及び補正方向を示すアイコンボタン103がクリックされることで補正方向が設定されたかどうか(#11)がチェックされ、新たな補正方向が設定された場合(#11Yes分岐)、設定された方向に基づいて新たに再現画像マトリックス表示エリア100の中央に表示される補正再現画像のための補正画像データが設定され(#12)、ステップ#08にジャンプする。OKボタン104がクリックされた場合(#10Yes分岐)、再現画像マトリックス表示エリア100の中央に表示されている補正再現画像を作り出すための補正度が記憶され、このルーチンを終了する。
上述した実施の形態では、補正度ルックアップテーブル34から読み出された補正度マトリックスに含まれた全ての補正度(補正式)を用いた補正画像データが生成されたが、これに代えて、部分的な補正画像データ(再現画像マトリックス表示エリア100に表示される個数を上回る、好ましくはその倍の個数の補正画像データ)だけをまず生成し、後はアイコンボタン103がクリックされることで設定された補正方向から予測される領域の補正画像データを生成するような方法を採用してもよい。
上述した実施の形態では、プリントステーション1Bは、印画紙Pに対し、露光エンジンを備えたプリント露光部14で撮影画像の露光を行い、この露光後の印画紙Pを複数の現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明におけるプリントステーション1Bは、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を採用することができる。
本発明は、モニタに表示された補正再現画像を確認しながら撮影コマ画像に対する画像補正の補正度を決定する作業を伴うすべての分野に適用できる。
本発明による画像補正決定技術を採用した写真プリントシステムの外観図 写真プリントシステムのプリントステーションの構成を模式的に示す模式図 写真プリントシステムのコントローラ内に構築される機能要素を説明する機能ブロック図 補正度マトリックスの模式的な構成を説明する説明図 マトリックス化された補正画像データの模式的な構成を説明する説明図 再現画像マトリックス表示エリアに表示される補正画像データの模式的な構成を説明する説明図 プレジャッジ画面図 補正メイン画面図 周辺光量補正画面図 歪み補正画面図 台形補正画面図 画像補正ルーチンの一例を示すフローチャート
符号の説明
23:モニタ
25:マウス(操作入力デバイス)
24:キーボード(操作入力デバイス)
30:メモリ
31:画像入力部
32:GUI部
33:補正度設定部
34:補正度ルックアップテーブル
35:画像補正管理部
36:画像処理部

Claims (9)

  1. 撮影コマ画像を表す画像データを元画像データとして取得し、前記取得された元画像データに対して所定補正度での画像補正を施して補正画像データを生成し、前記補正画像データに基づく補正再現画像をモニタに表示し、前記補正再現画像を確認しながら前記元画像データに対する画像補正の補正度を決定する画像補正決定方法において、
    前記補正画像データの生成時に複数の異なる補正度で前記元画像データを画像補正することによって複数の補正画像データが生成され、前記生成された複数の補正画像データの内から選択された複数の補正画像データに基づく補正再現画像が補正度の順序でモニタに表示されることを特徴とする画像補正決定方法。
  2. 前記画像補正が撮影レンズに起因する画像品質の低下を改善する画像補正であることを特徴とする請求項1に記載の画像補正決定方法。
  3. 前記補正度には撮影コマ画像における画像補正方向を示す補正方向度と補正の強さを示す補正強度が含まれていることを特徴とする請求項1又は2に記載の画像補正決定方法。
  4. 前記複数の補正度を前記補正方向度と前記補正強度に基づいて配置している補正度マトリックスが用意されており、この補正度マトリックスの要素配置に対応させて前記補正再現画像がモニタ上でマトリックス表示されることを特徴とする請求項3に記載の画像補正決定方法。
  5. 前記補正再現画像のマトリックス表示で用いられる表示マトリックスのサイズは任意に設定可能であることを特徴とする請求項4に記載の画像補正決定方法。
  6. マトリックス表示された補正再現画像の1つが指定されることにより、この指定された補正再現画像を中心としたマトリックス表示が作り出されることを特徴とする請求項4又は5に記載の画像補正決定方法。
  7. 特定の撮影コマ画像に対して決定された補正度が、同じ撮影レンズによる他の撮影コマ画像に対する画像補正にも適用されることを特徴とする請求項2〜6のいずれかに記載の画像補正決定方法。
  8. 撮影コマ画像を表す画像データを元画像データとして受け取る画像入力部と、前記元画像データに対する特定の画像補正のための補正度を設定する補正度設定部と、この設定された補正度で前記元画像データに対して画像補正を施して補正画像データを生成する画像処理部と、前記補正画像データに基づく補正再現画像をモニタに表示させるとともに前記補正再現画像を確認しながら前記元画像データに対する画像補正の補正度を決定する画像補正管理部とを備えた画像処理装置において、
    前記補正度設定部が複前記元画像データの画像補正のために複数の異なる補正度を設定し、かつ前記画像補正管理部が前記複数の補正度に基づいて生成された複数の補正画像データの内から選択された複数の補正画像データに基づく補正再現画像が補正度の順序でモニタに表示されることを特徴とする画像処理装置。
  9. 撮影コマ画像における画像補正方向を示す補正方向度と補正の強さを示す補正強度によって規定される複数の前記補正度が前記補正方向度と前記補正強度に基づいて要素配置された補正度マトリックスの形で補正度ルックアップテーブルとして前記補正度設定部に備えられていることを特徴とする請求項8に記載の画像処理装置。
JP2003429684A 2003-12-25 2003-12-25 画像補正決定方法とその方法を用いた画像処理装置 Expired - Fee Related JP4207125B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003429684A JP4207125B2 (ja) 2003-12-25 2003-12-25 画像補正決定方法とその方法を用いた画像処理装置
US11/020,047 US7589863B2 (en) 2003-12-25 2004-12-21 Method of determining image correction and image processing apparatus using the method
CNB2004101037014A CN1322736C (zh) 2003-12-25 2004-12-27 图象修正决定方法及使用该方法的图象处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003429684A JP4207125B2 (ja) 2003-12-25 2003-12-25 画像補正決定方法とその方法を用いた画像処理装置

Publications (2)

Publication Number Publication Date
JP2005190097A true JP2005190097A (ja) 2005-07-14
JP4207125B2 JP4207125B2 (ja) 2009-01-14

Family

ID=34697578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003429684A Expired - Fee Related JP4207125B2 (ja) 2003-12-25 2003-12-25 画像補正決定方法とその方法を用いた画像処理装置

Country Status (3)

Country Link
US (1) US7589863B2 (ja)
JP (1) JP4207125B2 (ja)
CN (1) CN1322736C (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009019862A1 (ja) * 2007-08-06 2009-02-12 Panasonic Corporation 画像生成装置、画像表示装置、画像生成方法、画像表示方法、画像生成プログラム、および画像表示プログラム
JP2013137682A (ja) * 2011-12-28 2013-07-11 Nk Works Kk 画像処理プログラム、画像処理装置および画像処理方法
KR101493946B1 (ko) 2014-04-16 2015-02-17 하이네트(주) 광각 렌즈 이미지 보정 방법 및 그 장치
CN112360445A (zh) * 2020-10-28 2021-02-12 中交第四航务工程局有限公司 一种利用视频监控修正岩溶区钻探地层情况的方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7839434B2 (en) * 2006-08-04 2010-11-23 Apple Inc. Video communication systems and methods
JP4867833B2 (ja) * 2007-07-23 2012-02-01 セイコーエプソン株式会社 印刷装置およびその制御方法並びにプログラム
JP5414165B2 (ja) * 2007-10-16 2014-02-12 キヤノン株式会社 画質調整装置、画質調整方法及びプログラム
US8687230B2 (en) * 2008-03-31 2014-04-01 Brother Kogyo Kabushiki Kaisha Image processor
EP2660774B1 (en) * 2012-04-30 2021-09-01 BlackBerry Limited Image processing method
CN109547692B (zh) * 2018-10-26 2021-12-14 华为技术有限公司 图像姿态矫正方法、设备及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1132227A (ja) * 1997-07-14 1999-02-02 Canon Inc 画像処理方法及び装置及び記憶媒体
JPH11261832A (ja) * 1998-03-11 1999-09-24 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
JP2003333412A (ja) * 2002-05-10 2003-11-21 Fuji Photo Film Co Ltd 画像処理方法及び装置
JP2004227402A (ja) * 2003-01-24 2004-08-12 Fuji Photo Film Co Ltd 画像補正装置及びこの画像補正装置の補正値指定方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01132227A (ja) 1987-11-18 1989-05-24 Nec Corp ハンドシェーク方式
JPH02260073A (ja) * 1989-03-31 1990-10-22 Toshiba Corp 画像表示装置
JP2921408B2 (ja) * 1994-09-21 1999-07-19 ノーリツ鋼機株式会社 フィルム画像の処理装置
DE69515980T2 (de) * 1994-12-28 2000-11-30 Noritsu Koki Co Ltd Filmanalysevorrichtung
US5969767A (en) * 1995-09-08 1999-10-19 Matsushita Electric Industrial Co., Ltd. Multipicture video signal display apparatus with modified picture indication
JP3895492B2 (ja) * 1998-03-13 2007-03-22 株式会社リコー 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000125185A (ja) * 1998-10-20 2000-04-28 Olympus Optical Co Ltd 電子カメラ
JP2000324339A (ja) 1999-03-09 2000-11-24 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
JP2001080988A (ja) * 1999-09-07 2001-03-27 Kinya Adachi 固溶体系結晶及び育成方法
JP3814514B2 (ja) * 2001-10-23 2006-08-30 キヤノン株式会社 画像表示装置、画像処理方法及びプログラム
JP2005275977A (ja) * 2004-03-25 2005-10-06 Fuji Photo Film Co Ltd 画像表示方法、画像表示装置及び画像表示プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1132227A (ja) * 1997-07-14 1999-02-02 Canon Inc 画像処理方法及び装置及び記憶媒体
JPH11261832A (ja) * 1998-03-11 1999-09-24 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
JP2003333412A (ja) * 2002-05-10 2003-11-21 Fuji Photo Film Co Ltd 画像処理方法及び装置
JP2004227402A (ja) * 2003-01-24 2004-08-12 Fuji Photo Film Co Ltd 画像補正装置及びこの画像補正装置の補正値指定方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009019862A1 (ja) * 2007-08-06 2009-02-12 Panasonic Corporation 画像生成装置、画像表示装置、画像生成方法、画像表示方法、画像生成プログラム、および画像表示プログラム
JP2013137682A (ja) * 2011-12-28 2013-07-11 Nk Works Kk 画像処理プログラム、画像処理装置および画像処理方法
KR101493946B1 (ko) 2014-04-16 2015-02-17 하이네트(주) 광각 렌즈 이미지 보정 방법 및 그 장치
WO2015160052A1 (ko) * 2014-04-16 2015-10-22 하이네트(주) 광각 렌즈 이미지 보정 방법 및 그 장치
CN112360445A (zh) * 2020-10-28 2021-02-12 中交第四航务工程局有限公司 一种利用视频监控修正岩溶区钻探地层情况的方法

Also Published As

Publication number Publication date
CN1322736C (zh) 2007-06-20
CN1638424A (zh) 2005-07-13
US7589863B2 (en) 2009-09-15
US20050141038A1 (en) 2005-06-30
JP4207125B2 (ja) 2009-01-14

Similar Documents

Publication Publication Date Title
JP3766308B2 (ja) カメラおよび画像形成システム
US7333242B2 (en) Test print producing method and photograph image printing method using the same
JP2000083157A (ja) 画像処理方法および画像処理装置
JP4207125B2 (ja) 画像補正決定方法とその方法を用いた画像処理装置
US6633689B2 (en) Image reproducing apparatus
US6584287B2 (en) Camera and image forming system using the camera
JP4239094B2 (ja) 画像処理装置、方法、及びプログラム
US20060103887A1 (en) Printer and print
JP2006107329A (ja) 撮影画像処理装置
JP4512992B2 (ja) 画像補正決定方法とその方法を用いた画像処理装置
JP2006324987A (ja) 撮影画像処理方法と撮影画像処理プログラムと撮影画像処理モジュール
JP2006135743A (ja) 画像補正決定方法とその方法を用いた画像処理装置
JP2005159387A (ja) 濃度特性曲線を決定する方法及びこの方法を実施する濃度補正管理装置
JP2001086332A (ja) 画像処理装置
JP4284604B2 (ja) コントラスト調整方法及びこの方法を実施するコントラスト調整装置
JP2008109203A (ja) 撮影画像補正用変換テーブル作成方法とこの方法を実施する写真プリント装置
JP2000324339A (ja) 画像処理方法および画像処理装置
JP4655211B2 (ja) コントラスト補正に用いられる補正特性の生成方法と生成プログラムと生成モジュール
JP2008060989A (ja) 撮影画像補正方法及び撮影画像補正モジュール
JPH11331543A (ja) 画像処理方法および画像処理装置
JP4378611B2 (ja) あおり補正方法、あおり補正プログラム、及びあおり補正機能付き写真プリント装置
JP4336978B2 (ja) 画像処理方法及び画像処理装置
JP4431948B2 (ja) あおり補正方法、あおり補正プログラム、及びあおり補正機能付き写真プリント装置
JP4936035B2 (ja) 写真プリント装置
JP2003283737A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080925

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081008

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees