JP2003016440A - 写真抽出方法、装置、プログラムおよび記録媒体 - Google Patents

写真抽出方法、装置、プログラムおよび記録媒体

Info

Publication number
JP2003016440A
JP2003016440A JP2002130697A JP2002130697A JP2003016440A JP 2003016440 A JP2003016440 A JP 2003016440A JP 2002130697 A JP2002130697 A JP 2002130697A JP 2002130697 A JP2002130697 A JP 2002130697A JP 2003016440 A JP2003016440 A JP 2003016440A
Authority
JP
Japan
Prior art keywords
medium
individual images
image
low resolution
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002130697A
Other languages
English (en)
Other versions
JP4200419B2 (ja
JP2003016440A5 (ja
Inventor
Aindrais O'callaghan
オキャラハン アンドレ
Anoop Bhattacharjya
バタチャージャ アヌープ
Hakan Ancin
アンシン ハカン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of JP2003016440A publication Critical patent/JP2003016440A/ja
Publication of JP2003016440A5 publication Critical patent/JP2003016440A5/ja
Application granted granted Critical
Publication of JP4200419B2 publication Critical patent/JP4200419B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking
    • H04N1/3873Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • H04N1/3875Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming combined with enlarging or reducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/38Circuits or arrangements for blanking or otherwise eliminating unwanted parts of pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877Image rotation
    • H04N1/3878Skew detection or correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 画像保持領域を有するホルダ内に収容された
媒体から個々の画像を抽出する方法、装置及び命令のプ
ログラムを提供する。 【解決手段】 特定のサイズ及び型式のフィルムを収容
するように設計されたホルダ内に含まれるフィルムを走
査して、該フィルム及びホルダの低解像度走査を発生す
るような写真抽出技術が提供される。次いで、上記低解
像度走査は、上記ホルダの境界を検出し、平滑化フィル
タを適用し、上記ホルダ内の画像保持領域のエッジセグ
メントを検出し、上記画像保持領域の各々を識別し、こ
れら画像保持領域の向きを決定すると共に必要なら該領
域の向きを補正し、及びこれら画像保持領域内の個々の
写真の各々を見付けることにより処理される。写真を識
別し及び抽出したら、これら写真のサムネイル画像を有
するインデックスページが発生される。このページか
ら、ユーザは高解像度で印刷又は表示されるべき上記画
像の1以上を選択することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、フィルムから写真
を容易且つ効率的に走査すると共に、走査されたデータ
を処理してユーザが所望に応じて印刷又は表示するため
の高品質コピーを発生するのを可能にするような装置及
び方法に関する。また、本発明は上記写真抽出及び処理
技術の種々の態様を実施化するための命令のプログラム
にも関する。
【0002】
【関連技術の説明】デジタル画像が提供する便利さ及び
高品質再現性、並びに今日のスキャナの増加された能力
により、多くの人は、フィルム又はスライド(ネガ又は
ポジ)のような画像を表示、印刷、送信及び記憶等を行
うためにデジタル画像に変換する。これを実行するため
に、ユーザは先ず一群の画像コマ(例えばフィルムネ
ガ)を適当なテンプレート又はホルダに入れ、該ホルダ
をスキャナベッド上に載置する。全てではなくても殆ど
のフィルムフォーマットに対するホルダが存在し、所与
のフィルムフォーマットに対しては2以上の型式のホル
ダが存在し得る。次いで、画像が走査され、そして再生
される。
【0003】問題は、ユーザが所望する結果を生じさせ
るのに、しばしば、全体の処理が如何にも面倒且つ時間
が掛かるという点にある。画像をホルダ内に正しく入
れ、且つ、ホルダをスキャナベッド上に正しく載置する
ように注意を払わねばならない。更に、時にはユーザは
或る選択されたコマにしか興味を有さず、各コマの高品
質再生を発生させるために時間及び資源を費したくない
場合もある。ユーザは、単に全てのコマを即座に見、次
いで高品質再生のためにプリンタ/複写機にどのコマを
送るかを選択することを欲するだけかも知れない。
【0004】従来のシステムは、斯様な処理要件を扱う
容易且つ効率的な方法を提供していない。
【0005】
【発明が解決しようとする課題】従って、本発明の目的
は、上述したような従来のシステムの問題を、斯様な容
易且つ効率的な写真抽出技術を設けることにより克服す
ることにある。
【0006】また、本発明の他の目的は、画像保持領域
を有するホルダ内に収容された媒体から個々の画像を抽
出する方法、装置及び命令のプログラムを提供すること
にある。
【0007】
【課題を解決するための手段】この発明の一態様によれ
ば、ネガフィルム、ポジフィルム又はスライド等の媒体
から個々の画像を抽出する方法が提供される。該方法
は、前記媒体を相対的に低い解像度で走査して、前記媒
体及び該媒体上の前記個々の画像の低解像度デジタル表
現を発生するステップと;該低解像度デジタル表現を処
理するステップと;前記媒体上で識別された全ての個々
の画像のインデックスを発生するステップとを有してい
る。上記低解像度デジタル表現を処理するステップは、
前記媒体の境界を規定するステップであって、前記個々
の画像の全てが該規定される境界内となるように規定す
るステップと;前記低解像度表現に平滑化フィルタを適
用するステップと;少なくとも1つの画像を含むような
各領域のエッジを検出するステップと;前記媒体の向き
を決定すると共に、必要なら補正するステップと;前記
個々の画像の各々を前記媒体における当該画像に対応す
る領域内で見付けるステップとを含んでいる。
【0008】他の態様においては、本発明は、画像保持
領域を有するホルダ内に収容されたネガフィルム、ポジ
フィルム又はスライド等の媒体から個々の画像を抽出す
る方法であって、前記媒体及びホルダを相対的に低い解
像度で走査して、前記ホルダ及び前記個々の画像を含む
前記媒体の低解像度デジタル表現を発生するステップ
と;該低解像度デジタル表現を処理するステップと;前
記媒体上で識別された全ての個々の画像のインデックス
を発生するステップとを有するような方法に関するもの
である。上記の低解像度デジタル表現を処理するステッ
プは、前記ホルダの境界を規定するステップであって、
前記画像保持領域の全て及びこれら領域に含まれる前記
個々の画像の全てが該規定される境界内となるように規
定するステップと;前記低解像度表現に平滑化フィルタ
を適用するステップと;前記画像保持領域のエッジセグ
メントを検出するステップと;前記画像保持領域の各々
を検出及び識別するステップと;少なくとも1つの画像
保持領域の基準に対する向きを決定するステップであっ
て、もし、前記少なくとも1つの画像保持領域が前記基
準に対して傾いていると判定されたら、該少なくとも1
つの画像保持領域の向きを補正するステップと;前記個
々の画像の各々を前記画像保持領域内で見付けるステッ
プとを含んでいる。
【0009】上記方法は、更に、サムネイル画像の集合
を有することができる前記インデックスから前記個々の
画像の1以上を選択するステップと;選択された個々の
画像の各々を相対的に高い解像度で再走査するステップ
と;前記選択された個々の画像の各々の高解像度出力を
発生するステップとを有することができる。
【0010】前記の境界を規定するステップは、前記ホ
ルダを表すピクセルの最外側の行/列内の、又は該行/
列から所定距離内のピクセルを暗くするステップを有す
ることができる。
【0011】前記低解像度デジタル表現がRGBカラー
表現である場合、前記のフィルタを適用するステップ
は、前記平滑化フィルタを前記低解像度表現における各
ピクセルのRデータのみに適用するステップを有するこ
とができる。好ましくは、上記平滑化フィルタの各出力
ピクセルは、当該ピクセルの前置フィルタ処理されたも
のと、所定の近隣におけるピクセルの各々との加重平均
により決定される。
【0012】前記のエッジを検出するステップは、前記
低解像度表現を二進データに低減し、次いで該二進デー
タを前記画像保持領域の境界に低減するステップを有す
ることができる。更に詳細には、上記エッジ検出ステッ
プは、エッジ検出器を前記低解像度表現に適用するステ
ップであって、該エッジ検出器の各出力ピクセルが所定
のエッジ検出フィルタ核(カーネル)により決定される
ようなステップと、次いで前記各出力ピクセルに閾テス
トを適用して、この出力ピクセルが所定の閾より高いか
又は低いかを決定するステップと、この出力ピクセルを
前記閾テストの結果に基づいて1又は0にするステップ
とを有することができる。
【0013】前記の検出及び識別するステップは、前記
画像保持領域の検出されたエッジセグメントを画像保持
領域エッジセグメントに類似した全てのアーチファクト
から区別するステップと、連結されたエッジセグメント
の群を識別するステップと、前記画像保持領域の各々
を、連結されたエッジセグメントの対応する群のサイズ
及び形状から識別するステップとを有することができ
る。
【0014】前記の向きを決定するステップは、1以上
の画像保持領域の前記基準に対する回転角度を、当該画
像保持領域の代表的な線描のハフ変換を計算することに
より算出するステップを有することができる。
【0015】前記の個々の画像を見付けるステップは、
識別された画像保持領域の各々における前記媒体の境界
を識別するステップを有することができ、各個々の画像
の境界を識別するステップを更に有することができる。
【0016】本発明の他の態様は、画像保持領域を有す
るホルダ内に収容されたネガフィルム、ポジフィルム又
はスライド等の媒体から個々の画像を抽出する装置に関
するものである。該装置は、前記媒体及びホルダを相対
的に低い解像度で走査して、前記ホルダ及び前記個々の
画像を含む前記媒体の低解像度デジタル表現を発生する
スキャナと;該スキャナと通信して、前記低解像度デジ
タル表現を記憶する記憶媒体と;該記憶手段と通信し
て、前記低解像度デジタル表現を処理する処理手段と;
前記媒体上で識別された全ての個々の画像のインデック
スを発生する手段とを有している。上記処理手段は、前
記ホルダの境界を規定する手段であって、前記画像保持
領域の全て及びこれら領域に含まれる前記個々の画像の
全てが該規定される境界内となるように規定する手段
と;前記低解像度表現に平滑化フィルタを適用する手段
と;前記画像保持領域のエッジセグメントを検出する手
段と;前記画像保持領域の各々を検出及び識別する手段
と;少なくとも1つの画像保持領域の基準に対する向き
を決定する手段であって、もし、前記少なくとも1つの
画像保持領域が前記基準に対して傾いていると判定され
たら、該少なくとも1つの画像保持領域の向きを補正す
るような手段と;個々の画像の各々を前記画像保持領域
内で見付ける手段とを含む。
【0017】上記装置は、更に、サムネイル画像の集合
を有することができる前記インデックスから前記個々の
画像の1以上を選択する手段と;選択された個々の画像
の各々の高解像度出力を発生する手段とを有することが
でき、前記スキャナが上記の選択された個々の画像の各
々を斯様な高い解像度で再走査する。
【0018】前記の境界を規定する手段は、前記ホルダ
を表すピクセルの最外側の行/列内の、又は該行/列か
ら所定距離内のピクセルを暗くすることができる。
【0019】前記低解像度デジタル表現がRGBカラー
表現である場合、前記平滑化フィルタを適用する手段
は、平滑化フィルタを前記低解像度表現における各ピク
セルのRデータのみに適用する。好ましくは、上記平滑
化フィルタの各出力ピクセルは、当該ピクセルの前置フ
ィルタ処理されたものと、所定の近隣におけるピクセル
の各々との加重平均により決定することができる。
【0020】前記のエッジセグメントを検出する手段
は、前記低解像度表現を二進データに低減し、次いで該
二進データを前記画像保持領域の境界に低減することが
できる。更に詳細には、上記エッジセグメント検出手段
は、各出力ピクセルが所定のエッジ検出フィルタカーネ
ルにより決定されるようなエッジ検出器を前記低解像度
表現に適用し、次いで前記各出力ピクセルに閾テストを
適用して当該出力ピクセルが所定の閾より高いか又は低
いかを決定し、この出力ピクセルを前記閾テストの結果
に基づいて1又は0にすることができる。
【0021】前記の検出及び識別する手段は、前記画像
保持領域の検出されたエッジセグメントを画像保持領域
エッジセグメントに類似した全てのアーチファクトから
区別し、連結されたエッジセグメントの群を識別し、前
記画像保持領域の各々を、連結されたエッジセグメント
の対応する群のサイズ及び形状から識別することができ
る。
【0022】前記の向きを決定及び補正する手段は、1
以上の画像保持領域の前記基準に対する回転角度を、当
該画像保持領域の代表的な線描のハフ変換を計算するこ
とにより算出することができる。
【0023】前記の見付ける手段は、識別された画像保
持領域の各々における前記媒体の境界を識別することが
できると共に、各個々の画像の境界を更に識別すること
ができる。
【0024】本発明の更なる態様によれば、上述した方
法及びそのステップの何れかを、命令のプログラム(例
えば、ソフトウェア)で実施化することができ、該プロ
グラムは実行するためにコンピュータ若しくは他のプロ
セッサ制御型装置に記憶し、又は斯かるコンピュータ若
しくは装置に伝送することができる。他の例として、前
記方法及びそのステップの何れかを、機能的に等価なハ
ードウェア構成要素又はソフトウェアとハードウェアと
の組み合わせを用いて構成することもできる。
【0025】本発明の他の目的及び利点並びに完全な理
解は、添付図面と共になされる下記の説明を参照するこ
とにより明らかとなり且つ理解されるであろう。
【0026】尚、図面において同様の符号は同様の構成
要素を示している。
【0027】
【発明の実施の形態】図1は、本発明の技術を使用する
ことができる典型的な画像再生システム10の構成要素
を図示している。図1に示すように、該システムは中央
処理装置(CPU)11を含み、この中央処理装置は計
算資源を提供すると共に当該コンピュータを制御する。
CPU11は、マイクロプロセッサ等を用いて構成する
ことができ、グラフィックスプロセッサ及び/又は数学
的計算のための浮動小数点コプロセッサを含んでいても
良い。システム10は更にシステムメモリ12を含むこ
とができ、該システムメモリはランダムアクセスメモリ
(RAM)及び読出専用メモリ(ROM)の形態とする
ことができる。
【0028】多数のコントローラ及び周辺装置も図1に
示すように設けることができる。各入力コントローラ1
3は、キーボード、マウス又はスタイラス等の1以上の
入力装置14に対するインターフェースを表している。
コントローラ15も存在し、該コントローラは写真画像
をデジタル化するためのスキャナ16又は等価な装置と
通信する。1以上の記憶コントローラ17が1以上の記
憶装置18とインターフェースし、各記憶装置はオペレ
ーティングシステム、ユーティリティ及びアプリケーシ
ョン用の命令のプログラムを記録するのに使用すること
ができるような磁気テープ若しくはディスクのような記
憶媒体、又は光媒体を含む。上記アプリケーションは、
本発明の種々の態様を実施化するプログラムの実施例を
含むことができる。記憶装置(又は複数の装置)18
は、本発明により処理されるべきデータを記憶するのに
使用することもできる。表示コントローラ19は表示装
置21に対するインターフェースを提供し、上記表示装
置は陰極線管(CRT)又は薄膜トランジスタ(TF
T)表示器とすることができる。プリンタ23と通信し
て本発明により処理された写真画像を印刷するために、
プリンタコントローラ22も設けられている。通信コン
トローラ24は通信装置25とインターフェースし、該
通信装置は当該システム10が、インターネット、ロー
カルエリアネットワーク(LAN)及び広域ネットワー
ク(WAN)を含む種々のネットワークの何れかを介し
て、又は赤外線信号を含む適切な電磁搬送信号を介して
遠隔装置と接続するのを可能にする。
【0029】図示の実施例においては、全ての主要なシ
ステム構成要素はバス26に繋がり、該バスは2以上の
物理的バスを表すことができる。例えば、幾つかのパー
ソナルコンピュータは所謂工業規格アーキテクチャ(I
SA)バスのみを含んでいる。また、他のコンピュータ
はISAバス及び広帯域バスを含んでいる。
【0030】全てのシステム構成要素は互いに物理的に
接近して配置することができるが、これは本発明の要件
ではない。例えば、上記スキャナ、プリンタ又は両者は
プロセッサ11から遠くに配置されていてもよい。ま
た、本発明の種々の態様を実施化するプログラムは、ネ
ットワークを介して遠隔位置(例えば、サーバ)からア
クセスすることができる。このように、走査されたデー
タ、印刷されるべきデータ又は本発明の種々の態様を構
成するようなプログラムを具現化するソフトウェアは、
プロセッサ11に対して、磁気テープ若しくはディスク
又は光ディスクを含む種々のマシンが読取可能な媒体の
何れかを介して伝送することができ、これら媒体の何れ
かはシステムメモリ12若しくは記憶装置(又は複数の
装置)18、ネットワーク信号、又は赤外線信号を含む
他の適切な電磁搬送信号を構成するのに使用することが
できる。概要 本発明の写真抽出技術は、スキャナ16に対し、ネガ又
はポジの35mm又は4x6インチフィルムから個々の白
黒(b&w)又はカラー写真を走査するよう指令する。
この技術によれば、全ての斯様なフィルム型式及びサイ
ズに適合することができる。更に、この技術は主にフィ
ルムに、特にネガフィルムに対して設計されているが、
該技術はスライドで以っても動作する。下記説明の殆ど
においては、ネガフィルムが、走査される媒体であると
されている。
【0031】ネガ32は、図2に示すように標準のフィ
ルムホルダ31内に配置される。このアセンブリ(即
ち、ネガ32が収容されたホルダ31)は、次いで、ス
キャナベッド上に載置される。上記ネガ及びホルダの低
解像度カラー走査がスキャナ16によりなされ、該低解
像度表現が記憶される(例えば、システムメモリ12又
は記憶装置18に)。一実施例においては、この低解像
度走査は96ドット/インチ(dpi)の解像度で実施さ
れるが、他の解像度を使用することもできる。ここでの
取引は、速度対もっと正確な後続処理(例えば、もっと
正確な個々の写真の位置決定及びもっと正確な向きの決
定)である。また、最終的走査解像度は制限されること
はなく、最終出力画像の解像度にのみ影響するものであ
るが、該最終出力の品質は初期走査計算の如何なる不正
確さも反映する。96dpi解像度の初期走査は、これら
の点を考慮すると合理的な妥協であると思われる。
【0032】当該写真抽出技術は、上記フィルム及びホ
ルダの低解像度走査のデジタル表現を処理し、該フィル
ムで見付かった個々の写真の全てに関するサムネイルを
有するインデックスページを印刷し、各写真のサイズ及
び位置に関して収集された情報を用いて上記スキャナに
所望の写真を印刷用の高解像度において走査するように
指示する。上記低解像度表現を処理する過程で(即ち上
記初期走査処理において)、該写真抽出技術はフィルム
の型式(例えば、35mm、4x6インチ等)を自動的に
検出し、スキャナベッド上へのホルダの曲がった載置を
自動的に補正するので、該技術は最小限の手動入力しか
必要としない。一旦、フィルムがホルダに入れられ、該
ホルダがスキャナベッド上に載置されると、該技術は、
必要とされる唯一の他のユーザ入力が、高解像度で印刷
されるべき写真のインデックスであるように実施するこ
とができる。
【0033】説明及び理解を容易にするため、上記初期
走査表現の処理を8つのステップに分割することができ
る。これらステップの境界は、ここでは、説明の便宜上
規定されている。指定された機能及びこれら機能の関係
が適切に実施される限りにおいて、他の境界も規定する
ことができる。
【0034】個々の写真が上記初期走査処理で一旦見付
かったら、インデックス印刷を実行することができ、ユ
ーザにより選択された写真を高解像度で走査し、印刷す
ることができる。
【0035】初期走査処理の8つのステップを、以下、
カラーデジタル表現の場合について説明する。これらス
テップは図3のフローチャートにも示されている。初期走査処理 1.エッジの充填 先ず、ステップ301において、低解像度デジタル表現
30の境界上又は境界の近くの幾つかのピクセル(例え
ば、最外側の1〜3行及び列におけるピクセル)を黒に
する。これは、如何なる明るい領域も当該ホルダ内であ
って、外側ではないことを保証する。これは、変動の量
を大幅に低減し、初期走査の写真サイズ及び実際のフィ
ルム保持領域33の自動検出を補助する一方、斯様にす
るために要する処理の量を低減する。 2.平滑化 ステップ302において、上記の変更された低解像度表
現の1つのカラーチャンネルが分離され、平滑化され、
別のバッファに記憶される。RGB表現における3つの
チャンネルのうちの赤が、フィルムホルダ31の中実部
分とフィルムを含むことができる領域33を含むような
当該ホルダの開口との間の差の最も信頼性のある指示子
であることが実験的に分かった。このように、このステ
ップにおいては、好ましくは赤のチャンネルが分離さ
れ、平滑化され、記憶される。合計で24ビット/ピク
セルの場合、各チャンネルは典型的には8ビット/ピク
セルのデータストリームを有するが、他の解像度も可能
である。何れの場合においても、単一のデータチャンネ
ルの使用は、このステップにおいて必要とされる処理を
低減し、それでいて信頼性を維持する。
【0036】“平滑化フィルタ”は、上記低解像度表現
におけるノイズを除去するために使用される線形フィル
タであり、斯かるノイズは当該技術のステップ304及
び305等の後のステップの間における処理を低速化さ
せる可能性がある。該平滑化フィルタは、さもなければ
エッジ検出ステップ(ステップ303)において現れる
であろうエッジの多くを除去するが、フィルタを含み得
る領域の境界を表すようなエッジの如何なるものも除去
しない。
【0037】上記平滑化フィルタは、該フィルタがその
入力バッファから出力バッファへデータを伝送するにつ
れて、上記低解像度の1つのチャンネル(例えば、赤の
チャンネル)のデータを平滑化する。上記バッファの各
々は、例えば、システムメモリ12の領域、記憶装置1
8における高速記憶領域、又は他の機能的に等価な方法
により実施化することができる。各出力ピクセルは、自
身(前置フィルタ処理された)と、所定の近隣のピクセ
ルの各々との加重平均により決定される。上記所定の近
隣のサイズ及び各入力ピクセルに割り当てられるべき重
みは所定の核(カーネル)により決定される。使用され
るべきmxnのカーネルは初期走査の解像度に依存す
る。或る実施例においては、全て1の3x3のカーネル
が使用され、ここで出力ピクセルは入力ピクセルと、そ
の8つの隣接のものとの平均となる。上記重み付けに依
存して、平滑化されたチャンネルはnビット/ピクセル
のデータストリームからmビット/ピクセルのデータス
トリームに変換することができる。
【0038】一旦写真の位置が決まった場合に、これら
写真のサムネイルを抽出することができるように、前記
低解像度表現の品質を落とさないコピーが依然として記
憶されているべきである。後の段階における保護が、エ
ッジの正確な位置の検出に影響するような、ここで導入
され得る僅かなエラーを補償する。 3.エッジの検出 ステップ303において、ステップ302からの低解像
度表現は二進データに減少され、エッジ検出器が結果と
しての該二進データを臨界的情報(例えば、フィルム3
3を保持する領域を含むような開口の周囲の境界線30
a)のみに減少させる。当該写真抽出技術は、上記デー
タを、ホルダ内のフィルム保持領域33の僅かに粗い輪
郭を表すような明確なエッジに関して検証する。このス
テップは図4に示され、該図は上記ホルダデータが境界
線34に減少され、それらの幾つかがフィルム保持領域
33を規定していることを示している。
【0039】前記低解像度表現の二進データ(例えばb
&w)への減少は、好ましくは、RGBデータを赤のチ
ャンネルを分離することにより実行される。赤チャンネ
ルが他の2つのチャンネルの何れよりもフィルム保持領
域を見付けるのに一層強力であることが実験的に分かっ
た。所与のピクセルが黒であるか又は白であるかを決定
するために使用される実際の閾値は様々であるが、本発
明者は35なる値(0ないし255の目盛り上で)を使
用した。その24ビットRGBカラー値が上記閾値(例
えば35)より低い赤の値を有するような如何なるピク
セルも、非フィルム保持領域内にあると見なされ、従っ
て黒とされる。上記閾値よりも高い赤の値を持つ如何な
るピクセルも、フィルム保持領域内に存在しそうであ
り、従って白にされる。
【0040】都合上、上記エッジ検出器はエッジ検出フ
ィルタとして実施化することができ、該フィルタは上記
平滑化フィルタと、使用するカーネルを除き同一とする
ことができる。しかしながら、他の機能的に等価なエッ
ジ検出フィルタを使用することもできる。前記平滑化フ
ィルタと同様に、該エッジ検出フィルタのカーネルのm
xnサイズは、当該表現の解像度に依存する。或る実施
例においては、図5に示すカーネルが使用される。この
カーネルによれば、出力ピクセルの値は、対応する入力
ピクセルの8倍から該入力ピクセルの隣接ピクセルの各
々の値を減算したものとなる。次いで、各出力ピクセル
値は、該値に閾テストを適用することにより1又は0に
される。零より大きな値を持つ各ピクセルは1となり、
零以下の値を持つ各ピクセルは0となる。 4.可能性のあるフィルムスロットの検出 ステップ303で検出されたエッジは、種々の接続され
た構成部分(成分)を形成している。各々の接続された
成分は、ホルダ31のフィルム保持領域34を表し得る
か、又は該ホルダの何らかのアーチファクトを表し得
る。領域34は、ステップ304においてサイズ及び形
状によりアーチファクト35から区別される。
【0041】接続された成分を決定することができる1
つの方法は下記の通りである。上記エッジ検出器出力に
関して、行に基づくランレングスのテーブルが作成され
る。当該データは二進であり、1は疎らであるので、こ
のテーブルは極めてコンパクトなものである。このテー
ブルに対する2工程処理が、先ず、接続された区画(セ
グメント)をリンクし、これらのリンクされたセグメン
トを固有の識別ラベルの下でグループ化する。即ち、リ
ンクされたセグメントには各々同一の識別ラベルが付与
され、これらが同一の接続された成分に属することを示
す。入力において1なる値を持っていた全てのピクセル
は、その成分のラベル値により置換された値を有し、該
値は0と成分の合計数から1を減算したものとの間の整
数となる。成分の合計数は、後の使用のために記録され
る(例えば、システムメモリ12又は記憶装置18
に)。
【0042】フィルム保持領域34は、ユーザの選択に
より、又はフィルムホルダの型式及びフィルム保持領域
のサイズを識別する当該ホルダ上の機械読取可能な識別
子(バーコード等)により区別することができる。他の
実施例においては、当該写真抽出技術は、考察中の領域
のサイズ及び形状を使用して、該領域がフィルム保持領
域であるか否かを決定する。領域は、該領域が最小の可
能性のあるフィルム保持領域の少なくとも最小高さ及び
幅である場合、多分フィルムを収容していると判定され
る。2つの最も普通のホルダ(35mm及び4x6イン
チ)のうち、35mmホルダは小さい方のフィルム保持領
域(112.5mm x 24mm)を有している。一実施例において
は、領域は、その境界となる長方形(当該領域の最大及
び最小のx及びy座標により規定される)が少なくとも
800x(dpiにおける低解像度表現/120dpi)のピ
クセルを含むと共に少なくとも3.33インチの高さを
有する場合にフィルムを収容していると見なされる。図
6は、フィルム保持領域34を表す接続された成分の、
アーチファクト35を表す成分からの区別の結果を示し
ている。 5.真のフィルムスロットの識別 領域34のサイズ及び形状に基づいて、フィルムの型式
(35mm又は4x6インチ)を検出することができる。
ステップ305において、検出されたフィルム保持領域
34は、図7に示すように不所望な領域(即ち、当該ホ
ルダの残部)から分離される。
【0043】2つの最もポピュラーなホルダにおけるフ
ィルム保持領域のサイズにより、4x6インチフィルム
の領域は、4インチ<w<6インチ及び5インチ<h<
6インチとなるような幅w及び高さhを有するとして区
別することができる一方、35mmフィルム領域は、24
mm<w<4インチ及び112.5mm<h<5インチとな
るような幅w及び高さhを有するとして区別することが
できる。これらの測定値は、当該表現の解像度(dpiで
の)に従いピクセルに変換される。幾らかのピクセル
(例えば、96dpiに対しては3)のエラーマージン
が、当該低解像度表現における粗い分割により導入され
る如何なる僅かなエラーも当該処理の結果を害さないこ
とを保証する。
【0044】真のフィルムスロットを識別したら、下記
のステップの各々が、フィルムを保持し得る各領域に対
して実行される。 6.フィルムの向きの決定及び補正 これは、最も時間の掛かるステップである。各フィルム
保持領域の回転角は、ステップ306において、当該領
域の代表的な線描(前記エッジ検出器の出力から容易に
取り出すことができる)のハフ変換を計算することによ
り見付けられる。或る実施例においては、ハフ変換が、
特定のフィルム保持領域を囲む各成分の傾き角を計算す
るために使用される。該傾き角は、傾いた表現を真っ直
ぐにして個々の写真のサムネイル画像を形成するために
使用されると共に、印刷のための最終走査画像を傾き補
正するために後に使用されるであろう。
【0045】ハフ変換は、デジタル表現の基礎を当該表
現中のラインを点にマップすることにより変更する良く
知られた技術である。所与の成分の輪郭における各ピク
セルが考慮され、特に、当該ピクセルを通過すると共
に、0度と360度との間の傾き及びdθ(或る実施例
においては0.25度)の倍数を有するような当該表現
における各ラインが考慮される。1以上のピクセルを通
過し得る斯様な各ラインに、該ラインが通過するピクセ
ルの数に等しい“投票”数が付与される。各ピクセル対
を経るラインが決定され、1投票として記録される。当
該成分の角度は最も多い投票を有するラインの傾きから
決定される。当該ハフ変換の全ての他の出力は無視され
る。
【0046】上記ハフ変換の出力の精度は、所望なら、
速度のために犠牲にすることができる。これを実施する
1つの方法は、dθを増加させることである。これを実
施する他の方法は、成分のピクセルをサブサンプル処理
することにより計算の量を減少させることである。ま
た、傾き角を決定する余り強固でない他の方法も存在す
る。例えば、個々の各成分の傾き角を計算することは不
必要であると考えることができる。何故なら、それらは
当該ホルダ内において全て同一の向きであるべきである
からである。事実、所要の精度に応じて、上記ハフ変換
に代えて他の適切な傾き角検出アルゴリズムを使用する
こともできる。
【0047】ハフ変換が採用されたと仮定すると、その
後、当該成分に対応するフィルム保持区域の傾き補正さ
れたデータを保持するために新たなバッファが作成され
る。システムメモリ12の一部とすることができる該バ
ッファは、各成分に関して再使用される。傾き補正され
た画像における各ピクセルの値は、三角法を用いて、傾
いた画像における該ピクセルの座標を該ピクセルの新た
な座標及び上記ハフ変換が算出した傾き角から見付ける
ことにより決定される。傾いた画像におけるピクセルの
算出された座標は整数でない可能性があるので、通常
は、該傾いた画像からの個々のピクセルを傾き補正され
た画像へ単純に移植することは可能ではない。各ピクセ
ルは、その座標の算出された値に最も整合するピクセル
をとるか、又は算出された非整数座標を囲むピクセル
(4個までのピクセル)の加重平均をとることにより移
植することができる。後者の方法は傾き補正された画像
の高品質に繋がるが、この段階での画像品質の保存はサ
ムネイル表示にしか影響しないので、後の処理の性能に
とっては余り重要ではなく重大でもない。
【0048】フィルム保持領域の境界に関する座標及び
その回転角を用いて、当該写真抽出技術は、前記低解像
度表現における向きに対して該領域を真っ直ぐにすると
共に、該領域を更なる処理のために一時バッファにコピ
ーする(好ましくは、24ビットカラーで)が、該一時
バッファはシステムメモリ12の一部とすることができ
る。回転の後、当該フィルムの長い方の寸法は垂直とな
り、短い方の寸法は水平となる。35mmフィルムの場
合、当該フィルムのこの寸法は、その高さではなく、そ
の幅と呼ばれる。
【0049】前記低解像度表現における如何なる妥当な
角度(例えば、±10度)の曲がりも補正することがで
きる。該角度の大きさに対する限界は、この段階にある
のではなく、後における所望の写真の最終走査に存在す
る。該角度が大き過ぎる場合、最終走査は、利用可能な
ものよりも多くのラインのバッファ空間を必要とする。
角度θでの走査から、1行の幅wのピクセルの真っ直ぐ
にされた出力を生成するにはwxsin(θ)のラインのバ
ッファが必要とされる。数行のみしか利用可能でない場
合、当該写真抽出技術は、ここでは、フィルムホルダが
手動で真っ直ぐにされることを要すると共に、もう一度
の初期走査がなされるべきと判定することができ、かく
して、無駄な後続の処理を防止する。 7.フィルム領域の識別 上記の傾き補正された成分は、回転のアーチファクトと
して不所望な境界が存在し得るので、通常、切り取り
(クロップ)されねばならない。これが当該処理におけ
るステップ307であり、図8に図示されている。切り
取りアルゴリズムは、単に、当該フィルムを表す24mm
(又は、4x6インチフィルムの場合、4インチ)幅及
び可変高さ(又は、4x6インチフィルムの場合、5イ
ンチ)の各成分により規定される領域を見付けるよう試
行する。当該フィルムが一旦分離されると、写真を見付
けることができる。
【0050】上記アルゴリズムは、傾き補正された各成
分の切り取り座標を以下のように決定する。該アルゴリ
ズムは、前記初期走査解像度に応じてピクセルに変換さ
れた当該フィルムの幅(24mm又は4インチ)に略等し
い長さを有する、当該フィルムの色範囲内に入るよう
な、最初の及び最後の水平線分を見付ける。本発明者に
より使用された範囲は70<R+G+B<620であ
る。これら2つの線分の始点及び終点は、切り取りのた
めの下側及び上側限界x座標とするために各々平均され
る。
【0051】上記の決定された切り取りの垂直方向の境
界を用いて、水平方向の境界を見付ける必要がある。こ
れは、上記垂直切取線の中心を通る垂直線をチェックす
ることにより実行される。当該フィルムの色範囲内で当
該画像の長さ(検出されたフィルム型式に応じて、36
mm又は5インチ)と等しいピクセル数を含むような、上
記線に沿う最初及び最後の垂直線が見付けられる。この
ようにして、水平方向の境界が決定される。当該アルゴ
リズムが妥当な領域を生じることに失敗した場合(即
ち、当該領域が写真としては幅又は高さの何れかが小さ
過ぎる場合)は、当該成分はフィルムを含まないとして
破棄される。 8.写真の発見 ステップ308においては、個々の写真が見付けられ
る。4x6インチフィルムの場合、各フィルム保持領域
は1つの写真のみを表すので、該写真は当該ホルダから
難なく抽出される。先の切り取り処理が、フィルムホル
ダの部分が当該写真の如何なる最終的印刷出力にも含ま
れないことを保証する。この切り取り処理は、各エッジ
において数ピクセル程度にしか達せず、前記低解像度表
現におけるピクセルの混合、及び最初の走査と最終の走
査との間の配置の可能性のある矛盾を考慮する。
【0052】35mmフィルムの場合、取り決めは可視画
像が24x36mmであるということである。しかしなが
ら、カメラ間の僅かな変動を見越すために、全ての固有
の値には数ピクセル(96dpiの初期走査解像度の場合
は3)のエラーの余裕が付与されて、最終走査に写真の
境界が現れないことを保証する。如何なる引っ掻き傷、
孔等も、前記検出を妨害しないように、非露光フィルム
の色で着色される。35mmフィルムの場合、多くの写真
が1つの区画上に隣接して位置し得る。かくして、個々
の写真は互いに分離されねばならない。
【0053】非露光フィルムと考えられるような、明る
さの或る許容範囲内にある各水平帯部に印が付される。
当該写真抽出技術は、どのグループの帯部が写真間の間
隔を表しているかを決定することにより、写真の可能性
のある位置を探索する。この計算において考慮されるも
のは、上記グループの幅及び整列である。各写真は、シ
ステムメモリ12内に構成することが可能な収集バッフ
ァにコピーされ、インデックスプリントを生成するため
に該バッファから上記写真にアクセスされる。初期走査
における各コマの位置は、ユーザが高解像度で再走査及
び印刷したいと欲する場合に即座に取り出すために記憶
される。
【0054】即ち、“写真の発見”アルゴリズムが採用
され、該アルゴリズムは真っ直ぐにされ且つ切り取られ
たフィルムを取り出すと共に別個の写真に分解しようと
試みる。4x6インチフィルムの場合、見付けるべき写
真は1つしか存在せず、該写真は簡単に抽出される。3
5mmフィルムは、フィルムの区域上の写真の数が通常は
未知であるので、もっと困難である。
【0055】35mmフィルムの場合、“写真の発見”は
先ず当該フィルムを介して水平行方向に走査する。70
(前記コマ切り取りと同一の閾)より小さい平均R+G
+B値を持つ如何なる行も、実験的に決定され且つ特定
のスキャナ、スキャナ設定及びフィルム型式に調整する
ことができるRGB値(R,G,B)を持つようなピク
セルの行と置換される。実際のR,G,B値はフィルム
及びスキャナの型式に応じて変化するであろうが、35
mm、200の速度のコダック(登録商標)フィルム用の
或る実施例においては、R=249、G=184及びB
=150が良好な結果をもたらした。この行置換ステッ
プは、当該スキャナからのグレアが2つの隣接するフィ
ルム区画を1つの大きな区画として解釈させる場合に導
入され得るようなエラーに対処することを意図してい
る。
【0056】ここで、行の各カラーチャンネルが再び考
察される。その平均ピクセル値が非露光フィルムの(当
該チャンネルに関して)実験的に決定されたカラーの9
9%よりも大きい場合、該行はコマ間の可能性のある境
界として印される。コマ間の間隔は典型的には約1.5
mmであるので、当該アルゴリズムは大凡斯かるサイズの
連続したブロックを探索して、どの候補が写真間の真の
境界であるかを決定する。これら境界のサイズはカメラ
毎に変化し得、且つ、必ずしも正確でないので、好まし
くは、当該アルゴリズムの該点には幾らかの柔軟性が組
み込まれる。
【0057】写真の位置は下記のように見付けられる。
先ず、当該フィルムが長さ的に調べられる。候補境界行
より前の何れの位置も、写真の可能性のある“終了”位
置であると見なされる。候補境界行の後の如何なる位置
も、写真の可能性のある“開始”位置であると見なされ
る。当該アルゴリズムは、重なり合わず、且つ、各“開
始”がフィルムの36mm下方で“終了”により後続さ
れ、各“終了”(最後のものを除く)がフィルムの1.
5mm下方で“開始”により後続されるような“開始”及
び“終了”の集合を探索する。
【0058】このような集合を得るために、当該アルゴ
リズムは、36mm(エラーマージンを含んで)後に“終
了”を有するような最初の“開始”の位置を探索する。
これが一旦見付かったら、該アルゴリズムはフィルムを
介して逆に探して、当該ロール上の最初の写真を見付け
る。該アルゴリズムは写真の開始及び終了位置を適応的
に検出するよう試みるが、これらを見付けることができ
ない場合は、36mm及び1.5mmなるデフォルト値が使
用される。各写真の位置は記録され、各写真はサムネイ
ルのバッファにコピーされる。これらサムネイルは、所
望に応じて、最終走査を指令するためのインデックスペ
ージを作成するために並び替えることができる。最終処理 各写真がインデックス付けされると共にサムネイルとし
て記憶されたので、ステップ309においてインデック
スページを準備することができる。図9に示すように、
このインデックスは、全ての写真のサムネイルを、それ
らのインデックス番号と一緒に示すような1つの印刷ペ
ージとすることができる。プリンタ23に出力するよう
に設計された該ページは、ライン毎に準備されるので、
非常に少ないメモリしか必要とされない。代わりとし
て、又は印刷に加えて、該インデックスページは表示装
置21上に表示することもできる。
【0059】ユーザは該インデックスページを見て、ど
の写真が高解像度で印刷されるべきかを決定する。次い
で、ユーザはインデックス又は複数のインデックス及び
最終走査用の解像度を選択する。当該写真抽出技術は、
スキャナ16にスキャナベッド上のフィルムホルダ内の
ネガから所望の各コマを走査するよう指令し、前記初期
走査処理から決定された角度及び位置データを用いて各
写真を真っ直ぐにすると共に印刷する。これは、上記ス
キャナベッド上のフィルムホルダが、上記初期走査がな
されてからずらされていないと仮定していることに注意
されたい。
【0060】特定の写真が高解像度で再走査されるよう
に選択された場合、前記初期走査からの該写真の角部の
座標が、新たな高解像度における座標に拡縮尺される。
スキャナ16は当該写真に関連するデータを含むような
ラインのみを走査するよう指令される。システムメモリ
12内とすることができるバッファが、これらのライン
を収集する。
【0061】上記バッファが1行の出力に関する全ての
データを含むやいなや(何故なら、入力データは傾いて
いる一方、出力は傾き補正されているから)、該行は回
転されてプリンタのパイルラインに出力される。他のラ
インが出力することができるようになるまで、新たなラ
インが上記バッファに読み込まれる。該バッファが満杯
になると、古いデータは捨てられ、新たなデータが入力
される。重ね書きされたラインが依然としてプリンタに
出力されていないデータを含むことがあり得る。斯かる
場合は、明示的なチェックによるのではなく、バッファ
のサイズが完全な1ライン分の出力を保持するのに充分
な程大きいかを計算することにより防止することができ
る。もしそうなら、通常は、重ね書きからの結果として
エラーが生じることはない。もしそうでないなら、傾き
角度が大き過ぎ、その場合には、ユーザが、低解像度を
選択するか、又はフィルムホルダを手動により真っ直ぐ
にして再度試みるよう促される。これは、最終走査の解
像度及び傾き角度のみに依存するので、該技術は、上記
角度及び出力解像度が分かるやいなや、その手順を打ち
切るように構成することができる。従って、可能性のあ
る最も早い時間は、ステップ306においてである。当
該プログラムが、そこで終了した場合、多くの時間を節
約することができる。
【0062】
【発明の効果】上記記載が示すように、本発明は効率的
且つ使い易い写真抽出技術を提供し、該技術はスキャナ
とパーソナルコンピュータ又は他の処理装置上で動作す
るソフトウェアとを用いて都合良く構成することができ
る。上述して種々のバッファの各々は、システムメモリ
12の一部又は記憶装置18における記憶媒体の高速領
域として都合良く構成することができる。また、本写真
抽出技術は、個別論理回路、1以上の特定用途集積回路
(ASIC)、デジタル信号プロセッサ、又はプログラ
ム制御型プロセッサ等のハードウェア部品を用いて構成
することもできる。また、ソフトウェアとハードウェア
との組み合わせも、本写真抽出技術を実施化するのに使
用することができる。
【0063】これらの実施化代替例を心に留めて、上記
ブロック及びフローチャートは或る特定の機能の作用及
びそれらの関係を示すものであると理解されたい。これ
ら機能ブロックの境界は、ここでは説明の便宜上規定さ
れている。指定された機能が実行され、且つ、それらの
間の関係が適切に維持される限りにおいて、他の境界を
規定することもできる。各図及びそれらに伴う説明は、
当業者がプログラムコード(即ち、ソフトウェア)を書
く、又は所要の処理を実行する回路(即ち、ハードウェ
ア)を製造するのに要する機能的情報を提供している。
【0064】以上、本発明を幾つかの特定の実施例に関
連して説明したが、上記説明に照らして、当業者にとっ
ては多くの他の代替例、修正例、変形例及び用途が明ら
かであろう。かくして、ここで説明した本発明は、添付
請求項の趣旨及び範囲内に入るであろうように、全ての
斯様な代替例、修正例、変形例及び用途を包含すること
を意図するものである。
【図面の簡単な説明】
【図1】図1は、本発明の態様を実施化するのに使用す
ることができる例示的な画像再生システムの構成要素を
図示するブロック図である。
【図2】図2は、標準のフィルムホルダの平面図であ
り、該フィルムホルダのフィルム保持領域に収容された
ネガフィルムを伴っている。
【図3】図3は、本発明の実施例による初期走査及び最
終処理のステップを示すフローチャートである。
【図4】図4は、本発明の実施例による初期走査処理の
エッジ検出ステップを示す。
【図5】図5は、上記エッジ検出ステップに使用するこ
とができるエッジ検出フィルタ用の例示的な核(カーネ
ル)を示す。
【図6】図6は、本発明の実施例による初期走査処理に
おける可能性のあるフィルムスロットを検出するステッ
プを示す。
【図7】図7は、本発明の実施例による初期走査処理に
おける真のフィルムスロットを識別するステップを示
す。
【図8】図8は、本発明の実施例による初期走査処理に
おけるフィルム領域を識別するステップを示す。
【図9】図9は、本発明の実施例による最終処理におい
て発生されるインデックスページを示す。
【符号の説明】
10:画像再生システム 11:CPU 12:システムメモリ 13:入力コントローラ 14:入力装置 15:スキャナコントローラ 16:スキャナ 17:記憶コントローラ 18:記憶装置 19:表示コントローラ 21:表示装置 22:プリンタコントローラ 23:プリンタ 24:通信コントローラ 25:通信装置 26:バス
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ハカン アンシン アメリカ合衆国 カリフォルニア州 サニ ーベイル#107 アノ ヌーボ アベニュ ー396 Fターム(参考) 5B057 AA11 BA02 BA19 BA24 CC02 CD03 CD05 CE05 CE06 CE09 DA08 DC16

Claims (51)

    【特許請求の範囲】
  1. 【請求項1】 媒体から個々の画像を抽出する方法にお
    いて、(a)前記媒体を相対的に低い解像度で走査し
    て、前記媒体及び該媒体上の前記個々の画像の低解像度
    デジタル表現を発生するステップと、(b)前記低解像
    度デジタル表現を、 (b)(1)前記媒体の境界を規定するステップであって、前
    記個々の画像の全てが該規定される境界内となるように
    規定するステップと、 (b)(2)前記低解像度表現に平滑化フィルタを適用するス
    テップと、 (b)(3)少なくとも1つの画像を含むような各領域のエッ
    ジを検出するステップと、 (b)(4)前記媒体の向きを決定すると共に、必要なら補正
    するステップと、 (b)(5)前記個々の画像の各々を前記媒体における当該画
    像に対応する領域内で見付けるステップと、により処理
    するステップと、(c)前記媒体上で識別された全ての
    個々の画像のインデックスを発生するステップと、を有
    していることを特徴とする方法。
  2. 【請求項2】 請求項1に記載の方法において、更に、
    (d)前記インデックスから前記個々の画像の1以上を
    選択するステップと、(e)前記選択された個々の画像
    の各々を相対的に高い解像度で再走査するステップと、
    (f)前記選択された個々の画像の各々の高解像度出力
    を発生するステップと、を有していることを特徴とする
    方法。
  3. 【請求項3】 請求項1に記載の方法において、前記媒
    体がネガフィルム、ポジフィルム及びスライドのうちの
    少なくとも1つを有していることを特徴とする方法。
  4. 【請求項4】 請求項1に記載の方法において、前記イ
    ンデックスがサムネイル画像の集合を有していることを
    特徴とする方法。
  5. 【請求項5】 画像保持領域を有するホルダ内に収容さ
    れた媒体から個々の画像を抽出する方法において、
    (a)前記媒体及び前記ホルダを相対的に低い解像度で
    走査して、前記ホルダ及び前記個々の画像を含む前記媒
    体の低解像度デジタル表現を発生するステップと、
    (b)前記低解像度デジタル表現を、 (b)(1)前記ホルダの境界を規定するステップであって、
    前記画像保持領域の全て及びこれら領域に含まれる前記
    個々の画像の全てが該規定される境界内となるように規
    定するステップと、 (b)(2)前記低解像度表現に平滑化フィルタを適用するス
    テップと、 (b)(3)前記画像保持領域のエッジセグメントを検出する
    ステップと、 (b)(4)前記画像保持領域の各々を検出及び識別するステ
    ップと、 (b)(5)少なくとも1つの画像保持領域の基準に対する向
    きを決定するステップであって、 (b)(5)(i)もし、前記少なくとも1つの画像保持領域が
    前記基準に対して傾いていると判定されたら、該少なく
    とも1つの画像保持領域の向きを補正する、ようなステ
    ップと、 (b)(6)前記個々の画像の各々を前記画像保持領域内で見
    付けるステップと、により処理するステップと、(c)
    前記媒体上で識別された全ての個々の画像のインデック
    スを発生するステップと、を有していることを特徴とす
    る方法。
  6. 【請求項6】 請求項5に記載の方法において、更に、
    (d)前記インデックスから前記個々の画像の1以上を
    選択するステップと、(e)前記選択された個々の画像
    の各々を相対的に高い解像度で再走査するステップと、
    (f)前記選択された個々の画像の各々の高解像度出力
    を発生するステップと、を有していることを特徴とする
    方法。
  7. 【請求項7】 請求項5に記載の方法において、前記媒
    体がネガフィルム、ポジフィルム及びスライドのうちの
    少なくとも1つを有していることを特徴とする方法。
  8. 【請求項8】 請求項5に記載の方法において、前記イ
    ンデックスがサムネイル画像の集合を有していることを
    特徴とする方法。
  9. 【請求項9】 請求項5に記載の方法において、前記ス
    テップ(b)(1)が、前記ホルダを表すピクセルの最外側の
    行/列内の、又は該行/列から所定距離内のピクセルを
    暗くするステップを有していることを特徴とする方法。
  10. 【請求項10】 請求項5に記載の方法において、前記
    低解像度デジタル表現はRGBカラー表現であり、前記
    ステップ(b)(2)が前記平滑化フィルタを前記低解像度表
    現における各ピクセルのRデータのみに適用するステッ
    プを有していることを特徴とする方法。
  11. 【請求項11】 請求項10に記載の方法において、前
    記平滑化フィルタの各出力ピクセルが、当該ピクセルの
    前置フィルタ処理されたものと、所定の近隣におけるピ
    クセルの各々との加重平均により決定されることを特徴
    とする方法。
  12. 【請求項12】 請求項5に記載の方法において、前記
    ステップ(b)(3)が、前記低解像度表現を二進データに低
    減し、次いで該二進データを前記画像保持領域の境界に
    低減するステップを有していることを特徴とする方法。
  13. 【請求項13】 請求項5に記載の方法において、前記
    ステップ(b)(3)が、エッジ検出器を前記低解像度表現に
    適用するステップであって、該エッジ検出器の各出力ピ
    クセルが所定のエッジ検出フィルタカーネルにより決定
    されるようなステップと、次いで前記各出力ピクセルに
    閾テストを適用して、この出力ピクセルが所定の閾より
    高いか又は低いかを決定するステップと、この出力ピク
    セルを前記閾テストの結果に基づいて1又は0にするス
    テップとを有していることを特徴とする方法。
  14. 【請求項14】 請求項5に記載の方法において、前記
    ステップ(b)(4)が、前記画像保持領域の前記検出された
    エッジセグメントを画像保持領域エッジセグメントに類
    似した全てのアーチファクトから区別するステップと、
    連結されたエッジセグメントの群を識別するステップ
    と、前記画像保持領域の各々を、連結されたエッジセグ
    メントの対応する群のサイズ及び形状から識別するステ
    ップとを有していることを特徴とする方法。
  15. 【請求項15】 請求項5に記載の方法において、前記
    ステップ(b)(5)が、前記少なくとも1つの画像保持領域
    の前記基準に対する回転角度を、当該画像保持領域の代
    表的な線描のハフ変換を計算することにより算出するス
    テップを有していることを特徴とする方法。
  16. 【請求項16】 請求項5に記載の方法において、前記
    ステップ(b)(5)が、前記各画像保持領域の前記基準に対
    する回転角度を、当該画像保持領域の代表的な線描のハ
    フ変換を計算することにより算出するステップを有して
    いることを特徴とする方法。
  17. 【請求項17】 請求項5に記載の方法において、前記
    ステップ(b)(6)が、前記識別された画像保持領域の各々
    における前記媒体の境界を識別するステップを有してい
    ることを特徴とする方法。
  18. 【請求項18】 請求項17に記載の方法において、前
    記ステップ(b)(6)が、前記各個々の画像の境界を識別す
    るステップを更に有していることを特徴とする方法。
  19. 【請求項19】 画像保持領域を有するホルダ内に収容
    された媒体から個々の画像を抽出する装置において、 − 前記媒体及び前記ホルダを相対的に低い解像度で走
    査して、前記ホルダ及び前記個々の画像を含む前記媒体
    の低解像度デジタル表現を発生するスキャナと、 − 前記スキャナと通信して、前記低解像度デジタル表
    現を記憶する記憶媒体と、 − 前記記憶手段と通信して、前記低解像度デジタル表
    現を処理する手段であって、該処理手段が、 前記ホルダの境界を規定する手段であって、前記画像保
    持領域の全て及びこれら領域に含まれる前記個々の画像
    の全てが該規定された境界内となるように規定する手段
    と、 前記低解像度表現に平滑化フィルタを適用する手段と、 前記画像保持領域のエッジセグメントを検出する手段
    と、 前記画像保持領域の各々を検出及び識別する手段と、 少なくとも1つの画像保持領域の基準に対する向きを決
    定する手段であって、もし、前記少なくとも1つの画像
    保持領域が前記基準に対して傾いていると判定された
    ら、該少なくとも1つの画像保持領域の向きを補正する
    ような手段と、 前記個々の画像の各々を前記画像保持領域内で見付ける
    手段と、を含むような処理手段と、 − 前記媒体上で識別された全ての個々の画像のインデ
    ックスを発生する手段と、を有していることを特徴とす
    る装置。
  20. 【請求項20】 請求項19に記載の装置において、更
    に、 前記インデックスから前記個々の画像の1以上を選択す
    る手段であって、前記スキャナが前記選択された個々の
    画像の各々を相対的に高い解像度で再走査するような手
    段と、 前記選択された個々の画像の各々の高解像度出力を発生
    する手段と、を有していることを特徴とする装置。
  21. 【請求項21】 請求項19に記載の装置において、前
    記媒体がネガフィルム、ポジフィルム及びスライドのう
    ちの少なくとも1つを有していることを特徴とする装
    置。
  22. 【請求項22】 請求項19に記載の装置において、前
    記インデックスがサムネイル画像の集合を有しているこ
    とを特徴とする装置。
  23. 【請求項23】 請求項19に記載の装置において、前
    記境界を規定する手段が、前記ホルダを表すピクセルの
    最外側の行/列内の、又は該行/列から所定距離内のピ
    クセルを暗くすることを特徴とする装置。
  24. 【請求項24】 請求項19に記載の装置において、前
    記低解像度デジタル表現はRGBカラー表現であり、前
    記平滑化フィルタを適用する手段が前記平滑化フィルタ
    を前記低解像度表現における各ピクセルのRデータのみ
    に適用することを特徴とする装置。
  25. 【請求項25】 請求項24に記載の装置において、前
    記平滑化フィルタの各出力ピクセルが、当該ピクセルの
    前置フィルタ処理されたものと、所定の近隣におけるピ
    クセルの各々との加重平均により決定されることを特徴
    とする装置。
  26. 【請求項26】 請求項19に記載の装置において、前
    記エッジセグメントを検出する手段が、前記低解像度表
    現を二進データに低減し、次いで該二進データを前記画
    像保持領域の境界に低減することを特徴とする装置。
  27. 【請求項27】 請求項19に記載の装置において、前
    記エッジセグメントを検出する手段は、各出力ピクセル
    が所定のエッジ検出フィルタカーネルにより決定される
    ようなエッジ検出器を前記低解像度表現に適用し、次い
    で前記各出力ピクセルに閾テストを適用して該出力ピク
    セルが所定の閾より高いか又は低いかを決定し、この出
    力ピクセルを前記閾テストの結果に基づいて1又は0に
    することを特徴とする装置。
  28. 【請求項28】 請求項19に記載の装置において、前
    記検出及び識別する手段は、前記画像保持領域の前記検
    出されたエッジセグメントを画像保持領域エッジセグメ
    ントに類似した全てのアーチファクトから区別し、連結
    されたエッジセグメントの群を識別し、前記画像保持領
    域の各々を、連結されたエッジセグメントの対応する群
    のサイズ及び形状から識別することを特徴とする装置。
  29. 【請求項29】 請求項19に記載の装置において、前
    記向きを決定及び補正する手段は、前記少なくとも1つ
    の画像保持領域の前記基準に対する回転角度を、当該画
    像保持領域の代表的な線描のハフ変換を計算することに
    より算出することを特徴とする装置。
  30. 【請求項30】 請求項19に記載の装置において、前
    記向きを決定及び補正する手段は、前記各画像保持領域
    の前記基準に対する回転角度を、当該画像保持領域の代
    表的な線描のハフ変換を計算することにより算出するこ
    とを特徴とする装置。
  31. 【請求項31】 請求項19に記載の装置において、前
    記見付ける手段は、前記識別された画像保持領域の各々
    における前記媒体の境界を識別することを特徴とする装
    置。
  32. 【請求項32】 請求項31に記載の装置において、前
    記見付ける手段は、前記各個々の画像の境界を更に識別
    することを特徴とする装置。
  33. 【請求項33】 媒体から画像を抽出する処理をコンピ
    ュータに実行させるための命令のプログラムであって、
    前記命令のプログラムが、(a)前記媒体を相対的に低
    い解像度で走査して、前記媒体及び該媒体上の前記個々
    の画像の低解像度デジタル表現を発生し、(b)前記低
    解像度デジタル表現を、 (b)(1)前記媒体の境界を規定する場合に、前記個々の画
    像の全てが該規定される境界内となるように規定し、 (b)(2)前記低解像度表現に平滑化フィルタを適用し、 (b)(3)少なくとも1つの画像を含むような各領域のエッ
    ジを検出し、 (b)(4)前記媒体の向きを決定すると共に、必要なら補正
    し、 (b)(5)前記個々の画像の各々を前記媒体における当該画
    像に対応する領域内で見付ける、ことにより処理し、
    (c)前記媒体上で識別された全ての個々の画像のイン
    デックスを発生する、ための命令を有しているプログラ
    ム。
  34. 【請求項34】 請求項33に記載のプログラムにおい
    て、更に、(d)前記インデックスから前記個々の画像
    の1以上を選択し、(e)前記選択された個々の画像の
    各々を相対的に高い解像度で再走査し、(f)前記選択
    された個々の画像の各々の高解像度出力を発生する、た
    めの命令を有していることを特徴とするプログラム。
  35. 【請求項35】 請求項33に記載のプログラムにおい
    て、前記媒体がネガフィルム、ポジフィルム及びスライ
    ドのうちの少なくとも1つを有していることを特徴とす
    るプログラム。
  36. 【請求項36】 請求項33に記載のプログラムにおい
    て、前記インデックスがサムネイル画像の集合を有して
    いることを特徴とするプログラム。
  37. 【請求項37】 画像保持領域を有するホルダ内に収容
    された媒体から個々の画像を抽出する処理をコンピュー
    タに実行させるための命令のプログラムを有するプログ
    ラムにおいて、(a)前記媒体及び前記ホルダを相対的
    に低い解像度で走査して、前記ホルダ及び前記個々の画
    像を含む前記媒体の低解像度デジタル表現を発生し、
    (b)前記低解像度デジタル表現を、 (b)(1)前記ホルダの境界を規定する場合に、前記画像保
    持領域の全て及びこれら領域に含まれる前記個々の画像
    の全てが該規定される境界内となるように規定し、 (b)(2)前記低解像度表現に平滑化フィルタを適用し、 (b)(3)前記画像保持領域のエッジセグメントを検出し、 (b)(4)前記画像保持領域の各々を検出及び識別し、 (b)(5)少なくとも1つの画像保持領域の基準に対する向
    きを決定し、 (b)(5)(i)もし、前記少なくとも1つの画像保持領域が
    前記基準に対して傾いていると判定されたら、該少なく
    とも1つの画像保持領域の向きを補正し、 (b)(6)前記個々の画像の各々を前記画像保持領域内で見
    付ける、ことにより処理し、 (c)前記媒体上で識別された全ての個々の画像のイン
    デックスを発生する、ための命令を有していることを特
    徴とするプログラム。
  38. 【請求項38】 請求項37に記載のプログラムにおい
    て、更に、(d)前記インデックスから前記個々の画像
    の1以上を選択し、(e)前記選択された個々の画像の
    各々を相対的に高い解像度で再走査し、(f)前記選択
    された個々の画像の各々の高解像度出力を発生する、た
    めの命令を有していることを特徴とするプログラム。
  39. 【請求項39】 請求項37に記載のプログラムにおい
    て、前記媒体がネガフィルム、ポジフィルム及びスライ
    ドのうちの少なくとも1つを有していることを特徴とす
    るプログラム。
  40. 【請求項40】 請求項37に記載のプログラムにおい
    て、前記インデックスがサムネイル画像の集合を有して
    いることを特徴とするプログラム。
  41. 【請求項41】 請求項37に記載のプログラムにおい
    て、前記命令(b)(1)が、前記ホルダを表すピクセルの最
    外側の行/列内の、又は該行/列から所定距離内のピク
    セルを暗くするステップを有していることを特徴とする
    プログラム。
  42. 【請求項42】 請求項37に記載のプログラムにおい
    て、前記低解像度デジタル表現がRGBカラー表現であ
    り、前記命令(b)(2)が前記平滑化フィルタを前記低解像
    度表現における各ピクセルのRデータのみに適用するス
    テップを有していることを特徴とするプログラム。
  43. 【請求項43】 請求項42に記載のプログラムにおい
    て、前記平滑化フィルタの各出力ピクセルが、当該ピク
    セルの前置フィルタ処理されたものと、所定の近隣にお
    けるピクセルの各々との加重平均により決定されること
    を特徴とするプログラム。
  44. 【請求項44】 請求項37に記載のプログラムにおい
    て、前記命令(b)(3)が、前記低解像度表現を二進データ
    に低減し、次いで該二進データを前記画像保持領域の境
    界に低減するステップを有していることを特徴とするプ
    ログラム。
  45. 【請求項45】 請求項37に記載のプログラムにおい
    て、前記命令(b)(3)が、エッジ検出器を前記低解像度表
    現に適用するステップであって、該エッジ検出器の各出
    力ピクセルが所定のエッジ検出フィルタカーネルにより
    決定されるようなステップと、次いで前記各出力ピクセ
    ルに閾テストを適用して、この出力ピクセルが所定の閾
    より高いか又は低いかを決定するステップと、この出力
    ピクセルを前記閾テストの結果に基づいて1又は0にす
    るステップとを有していることを特徴とするプログラ
    ム。
  46. 【請求項46】 請求項37に記載のプログラムにおい
    て、前記命令(b)(4)が、前記画像保持領域の前記検出さ
    れたエッジセグメントを画像保持領域エッジセグメント
    に類似した全てのアーチファクトから区別するステップ
    と、連結されたエッジセグメントの群を識別するステッ
    プと、前記画像保持領域の各々を、連結されたエッジセ
    グメントの対応する群のサイズ及び形状から識別するス
    テップとを有していることを特徴とするプログラム。
  47. 【請求項47】 請求項37に記載のプログラムにおい
    て、前記命令 (b)(5)が、前記少なくとも1つの画像保
    持領域の前記基準に対する回転角度を、当該画像保持領
    域の代表的な線描のハフ変換を計算することにより算出
    するステップを有していることを特徴とするプログラ
    ム。
  48. 【請求項48】 請求項37に記載のプログラムにおい
    て、前記命令(b)(5)が、前記各画像保持領域の前記基準
    に対する回転角度を、当該画像保持領域の代表的な線描
    のハフ変換を計算することにより算出するステップを有
    していることを特徴とするプログラム。
  49. 【請求項49】 請求項37に記載のプログラムにおい
    て、前記命令(b)(6)が、前記識別された画像保持領域の
    各々における前記媒体の境界を識別するステップを有し
    ていることを特徴とするプログラム。
  50. 【請求項50】 請求項49に記載のプログラムにおい
    て、前記命令(b)(6)が、前記各個々の画像の境界を識別
    するステップを更に有していることを特徴とするプログ
    ラム。
  51. 【請求項51】 請求項33乃至50のいずれか一項に
    記載のプログラムを記録したコンピュータによって読取
    可能な記録媒体。
JP2002130697A 2001-05-25 2002-05-02 写真抽出方法、装置、プログラムおよび記録媒体 Expired - Fee Related JP4200419B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/866051 2001-05-25
US09/866,051 US7020352B2 (en) 2001-05-25 2001-05-25 Photo extraction techniques

Publications (3)

Publication Number Publication Date
JP2003016440A true JP2003016440A (ja) 2003-01-17
JP2003016440A5 JP2003016440A5 (ja) 2005-09-29
JP4200419B2 JP4200419B2 (ja) 2008-12-24

Family

ID=25346825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002130697A Expired - Fee Related JP4200419B2 (ja) 2001-05-25 2002-05-02 写真抽出方法、装置、プログラムおよび記録媒体

Country Status (2)

Country Link
US (1) US7020352B2 (ja)
JP (1) JP4200419B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7519236B2 (en) * 2003-04-09 2009-04-14 Arcsoft, Inc. Image retrieval
JP2005051444A (ja) * 2003-07-31 2005-02-24 Fuji Photo Film Co Ltd コマ画像データ記録方法及び装置並びにコマ画像表示方法及び装置
US20050030602A1 (en) * 2003-08-06 2005-02-10 Gregson Daniel P. Scan templates
US7933513B2 (en) * 2005-08-10 2011-04-26 Anthony Lam System for duplicating radiographic film images
US20070253615A1 (en) * 2006-04-26 2007-11-01 Yuan-Hsiang Chang Method and system for banknote recognition
US8335403B2 (en) * 2006-11-27 2012-12-18 Nec Laboratories America, Inc. Soft edge smoothness prior and application on alpha channel super resolution
US8494304B2 (en) * 2007-05-11 2013-07-23 Xerox Corporation Punched hole detection and removal
JP5132438B2 (ja) * 2008-06-19 2013-01-30 キヤノン株式会社 画像処理装置および画像処理方法
US8467606B2 (en) 2011-08-25 2013-06-18 Eastman Kodak Company Method for segmenting a composite image
US9965588B2 (en) * 2014-03-06 2018-05-08 Ricoh Co., Ltd. Film to DICOM conversion
US11107204B2 (en) * 2015-09-02 2021-08-31 Faurecia Irystec, Inc. System and method for real-time tone-mapping
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US20190266812A1 (en) * 2016-03-04 2019-08-29 Vorbeck Materials Corp. Vehicular engine acoustic identification
JP7094733B2 (ja) * 2018-03-13 2022-07-04 キヤノン株式会社 画像処理装置、プログラム、画像処理方法
US10896012B2 (en) 2018-03-13 2021-01-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5337164A (en) * 1992-01-30 1994-08-09 Konica Corporation Negative film image reading device
US5818976A (en) * 1993-10-25 1998-10-06 Visioneer, Inc. Method and apparatus for document skew and size/shape detection
DE69523970T2 (de) * 1994-04-15 2002-07-04 Canon Kk Dokumentspeicher- und Wiederauffindungssystem
EP0698993B1 (en) * 1994-08-22 2002-01-23 Nikon Corporation Image reading device and method
KR0170657B1 (ko) * 1994-08-31 1999-03-30 김광호 색신호에 있는 윤곽을 보정하는 방법 및 이를 칼라 비디오기기에서 구현하기 위한 회로
US5706457A (en) 1995-06-07 1998-01-06 Hughes Electronics Image display and archiving system and method
US5682441A (en) 1995-11-08 1997-10-28 Storm Technology, Inc. Method and format for storing and selectively retrieving image data
US5845018A (en) 1996-01-30 1998-12-01 Sunrise Imaging, Inc. Method and apparatus for transferring multiple scanned images from a first medium to a second medium
JP3670754B2 (ja) * 1996-04-15 2005-07-13 オリンパス株式会社 信号処理装置
US6034719A (en) 1996-04-19 2000-03-07 Nikon Corporation Image input apparatus
US5992743A (en) 1996-04-19 1999-11-30 Fuji Photo Film Co., Ltd. Film scanner and method of reading optical information using same
US6148115A (en) * 1996-11-08 2000-11-14 Sony Corporation Image processing apparatus and image processing method
US6148033A (en) * 1997-11-20 2000-11-14 Hitachi America, Ltd. Methods and apparatus for improving picture quality in reduced resolution video decoders
US6041143A (en) 1998-04-14 2000-03-21 Teralogic Incorporated Multiresolution compressed image management system and method

Also Published As

Publication number Publication date
US20020176120A1 (en) 2002-11-28
US7020352B2 (en) 2006-03-28
JP4200419B2 (ja) 2008-12-24

Similar Documents

Publication Publication Date Title
US7620242B2 (en) Particular-region detection method and apparatus, and program therefor
US5497236A (en) Method and apparatus for distortion correction of scanned images
US6430320B1 (en) Image processing system with automatic image cropping and skew correction
US7684642B2 (en) Correction of redeye defects in images of humans
US20050276481A1 (en) Particular-region detection method and apparatus, and program therefor
JP4200419B2 (ja) 写真抽出方法、装置、プログラムおよび記録媒体
US7542608B2 (en) Method for automatically cropping image objects
US7430065B2 (en) Method and system for correcting distortions in image data scanned from bound originals
US20050207649A1 (en) Particular-region detection method and apparatus, and program therefor
JPH07121686A (ja) 画像フレーム検出方法
US7068855B2 (en) System and method for manipulating a skewed digital image
JPH096914A (ja) 画像処理方法及び装置
JP2003016440A5 (ja)
JP2005348103A (ja) 画像補正装置、画像読取装置、プログラム及び記憶媒体
JP3983721B2 (ja) 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム
JP3881455B2 (ja) 画像補正装置及び画像補正方法並びに画像補正方法を記録した媒体
JP2000276581A (ja) 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
JP3359377B2 (ja) バックグラウンド濃度検出装置
JPH11288453A (ja) 再生用のスキャン環境における原稿画像のスキュ―角度および黒い境界線を検出する方法およびシステム
JP2000030050A (ja) 画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体
JP2958407B2 (ja) 画像処理装置
JP4136860B2 (ja) 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム
JPH10191026A (ja) 画像処理装置及びその方法
JPH04276888A (ja) 文字読取装置
JP4061256B2 (ja) 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050421

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080924

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111017

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees