JP4270882B2 - Image processing method - Google Patents

Image processing method Download PDF

Info

Publication number
JP4270882B2
JP4270882B2 JP2003000615A JP2003000615A JP4270882B2 JP 4270882 B2 JP4270882 B2 JP 4270882B2 JP 2003000615 A JP2003000615 A JP 2003000615A JP 2003000615 A JP2003000615 A JP 2003000615A JP 4270882 B2 JP4270882 B2 JP 4270882B2
Authority
JP
Japan
Prior art keywords
image
displayed
images
area
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003000615A
Other languages
Japanese (ja)
Other versions
JP2004213428A (en
Inventor
康達 大浦
裕人 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003000615A priority Critical patent/JP4270882B2/en
Priority to US10/725,791 priority patent/US20040175764A1/en
Priority to CN 200410001626 priority patent/CN1241108C/en
Publication of JP2004213428A publication Critical patent/JP2004213428A/en
Application granted granted Critical
Publication of JP4270882B2 publication Critical patent/JP4270882B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、複数の画像の中から所望の画像を選抜するための画像処理方法に関する。
【0002】
【従来の技術】
近年のインターネット技術の発達に伴って、ホームページに画像を掲載する需要が増しており、デジタル静止画像を手軽に撮影することができるデジタルカメラが広範に普及しつつある。こうした個人ユースの分野に限らず、報道写真や広告写真などのプロフェッショナルユースの分野においても、現像が不要で画像を通信により新聞社等に伝送できることや、画素数の多い撮像素子が開発されて銀塩写真にひけをとらない高精細な画像を撮影することが可能になりつつあること、撮影した写真を容易にデジタル加工することができることなどから、確固とした地位を築きつつある。
【0003】
デジタルカメラは、一度記録すると再度の記録が不可能な銀塩フィルムと異なって、繰り返して記録することが可能なメモリカード等の記録媒体を用いているために、失敗写真をおそれることなくより気軽に画像を撮影できる特徴がある。これに加えて、近年の記録媒体の大容量化により、ユーザが扱う画像の枚数が膨大なものになる傾向にある。
【0004】
このような多数の画像の中から、個人ユーザが例えば年賀状に使用するための画像を選定したり、あるいはプロフェッショナルなカメラマンが雑誌等に掲載するための画像を選定したり、といった作業を行うのは、画像の枚数が多くなるにつれて大変な作業となる。
【0005】
こうした観点に基づいて、多数の画像の中から所望の画像をなるべく手軽に選択してグループ化する画像処理技術が、従来より、種々提案されている。
【0006】
このような技術として、例えば特開2001−109080号公報には、複数の画像をマトリクス状に配置してなる一の画像であるインデックス画像を作成する画像作成装置において、画像を付加情報とともに入力する手段と、入力した画像を分類してグループ化するための分類項目を指定する手段と、指定された分類項目に従い、入力した画像を該画像の付加情報を参照してグループ化する手段と、グループ化した画像群を各グループ毎にまとめて配列し、さらに、画像が属するグループの種別が認識できるような視覚的情報を付加したインデックス画像を編集する手段と、を備えた画像作成装置が記載されている。
【0007】
また、特開平9−258709号公報には、通信路から通信制御部を通じて受信した信号を変換部で変換し、表示制御部を用いて受信した画像を表示する表示手段と、複数の画像情報を受信した場合には一画面を分割し複数の画像を同時に表示する画面分割表示手段と、受信した画像を記憶する記憶手段と、を有する画像通信端末において、上記画面分割表示手段を用いて表示した複数の画像の内、選択された特定の画像を残し、選択した画像以外の画像を、端末が記憶する未表示の画像情報と置き換え表示する画像通信端末における画面分割表示方法が記載されている。
【0008】
【特許文献1】
特開2001−109080号公報
【0009】
【特許文献2】
特開平9−258709号公報
【0010】
【発明が解決しようとする課題】
しかしながら、上記特開2001−109080号公報に記載のものでは、入力した画像の付加情報を参照してグループ化しているために、付加情報がない場合や付加情報が適切でない場合には、必ずしも意図した通りに分類することができない。
【0011】
また、上記特開平9−258709号公報に記載のものでは、分割画面に画像が表示されるまでは、比較の対象となり得る候補画像を見ることができないために、比較の効率が良いとはいえない。
【0012】
本発明は上記事情に鑑みてなされたものであり、多数の画像の中から所望の画像を簡単な操作で選定することが可能となる画像処理方法を提供することを目的としている。
【0013】
【課題を解決するための手段】
上記の目的を達成するために、本発明の画像処理方法は、プログラムされたコンピュータによって制御される画像処理装置における画像処理方法において、画像処理装置が、複数の画像を表示するステップと、画像処理装置が、上記複数の画像を複数のカテゴリに分類するステップと、画像処理装置が、ユーザー操作に応答して上記複数のカテゴリの中から1以上のカテゴリを指定するステップと、画像処理装置が、上記指定された1以上のカテゴリの何れかに属する画像の縮小画像を表示するステップと、画像処理装置が、ユーザー操作に応答して上記表示された縮小画像の中から複数の画像を選択するステップと、画像処理装置が、上記選択された複数の画像を比較領域に表示するステップと、画像処理装置が、上記比較領域に表示された上記複数の画像に対して、縮小、拡大、又は移動のうちの少なくとも1つの画像処理を行うステップと、画像処理装置が、ユーザー操作に応答して上記比較領域に表示された上記複数の画像の中から画像を選択するステップと、を含むことを特徴とする。
【0021】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1から図12は本発明の一実施形態を示したものであり、図1は画像を選定する際の状態の移り変わりを示す状態遷移図である。
【0022】
本実施形態は、パーソナルコンピュータ(PC)2において画像処理プログラムを実行することにより、該PC2を画像処理装置として機能させ、複数の画像の中から所望の画像を選定するように構成されたものである。
【0023】
デジタルカメラ1は、例えばカード状の記録媒体として構成されたメディアカード3を装填して、撮影した画像を該メディアカード3に記録するようになっている。このメディアカード3に記録された撮影画像は、メディアカードリーダ4を介して、あるいはデジタルカメラ1とPC2とを直接接続することにより、PC2に転送されて取り込まれる(S1)。
【0024】
また、デジタルカメラ1からPC2に撮影した画像を転送する手段としては、PC2とデジタルカメラ1とを例えばIEEE1394やUSB2.0などの通信回線を介して双方向に接続し、PC2からのコントロールにより、デジタルカメラ1で撮影した画像をPC2にキャプチャーして取り込むことも可能である(S2、S3)。
【0025】
こうしてPC2に取り込まれた画像は、撮影が行われる毎に順次蓄積されていき、時間の経過とともに該PC2内には多くの画像が記録されている状態となることがある。
【0026】
上述したように、雑誌やインターネットのホームページ、年賀状に用いるなどの各種の目的に画像を使用する際には、これらの多数の画像の中から目的に応じた適切な画像を選定し、その後に必要に応じて画像処理等を行うことになる。
【0027】
このような選定を行う際には、PC2の基本動作を制御するためのオペレーティングシステム上において、該PC2内に格納されている画像処理プログラムを動作させる。
【0028】
すると、各種の初期化処理を行った後に、後述するようなブラウズモードの画面(図8、図9参照)が表示される(S4)。
【0029】
このブラウズモードでは、縮小化された複数の画像(サムネール画像)が配列して表示されるようになっており、これらの画像から、選択しようとする画像を選んでコレクション領域にドラッグアンドドロップする等により、選定コレクションを行うことができる(S5)。
【0030】
しかし、上述したように、多くの画像の中から目的の画像を選定するのは記憶力や注意力が必要で大変な作業となるために、画像を幾つかのカテゴリに分類して(S6)、分類された画像の中から選定作業を行うことができるようになっている。
【0031】
分類の一例としては、重要度が高い画像、重要度が中程度の画像、重要度が比較的低い画像、などの3種類のカテゴリを設け、これらのカテゴリの何れにも属さない画像は重要度が最も低い画像であるとして、合計4種類のカテゴリに分類し、その後にカテゴリを指定することにより、指定されたカテゴリに属する画像のみがブラウズ表示されるようにすることができる。
【0032】
本実施形態では、赤(R)、黄(Y)、青(B)などに色分けされたチェックボックスを設けて、そのチェックボックスをチェックして使用するようになっており、カテゴリは重要度の分類に使用するだけでなく、撮影場所がスタジオ、室内ロケ、屋外ロケなどの何れであるかに応じて分類しても良いし、昼間撮影、朝夕撮影、夜間撮影などの時間帯に応じて分類しても構わないし、これらに限らず使用者が自分の目的に合わせて自由に使用することが可能となっている。
【0033】
このとき、チェックボックスは色で分類するに限るものではなく、例えば◎、○、△などの図形で分類するようにしても構わないし、その他の認識し易い手段を広く適用することが可能である。
【0034】
こうして、PC2上においてブラウズモードやその他のモードで画像をカテゴリに分類し、その後に、後述するVLB(バーチャル・ライト・ボックス)等を用いて選定する画像を選ぶことも可能となっている。
【0035】
S4のブラウズモードにおいてS6の分類を行った後に、あるいはS4のブラウズモードから直接、ビューモード(図10参照)に移行することができるように構成されている。
【0036】
このビューモードは、サムネール領域41(図10参照)から選択した単一の画像を拡大してビュー領域42(図10参照)に表示するものである(S7)。このビューモードにおいても、拡大した画像を観察しながら、分類を行ったり(S8)、選定コレクションを行ったり(S9)することができるように構成されている。
【0037】
S4のブラウズモードから直接、S6の分類を行った後、S7のビューモードから直接、S8の分類を行った後、の何れかに、VLBモード(図11、図12参照)に移行することができるように構成されている。
【0038】
このVLBモードは、2つ、または4つ程度の比較的少数の画像を互いに比較して選定を行うためのモードである(S10)。該VLBモードは、具体的には、例えば、ほぼ同じ撮影シーンを露出を変化させて複数枚撮影したときにどの露出状態の画像を選定するかや、類似したカットが複数枚あるときにそれらの内の何れを選定するか、などの場合によく使われることのあるモードである。
【0039】
従って、このVLBモードにおいても、選定コレクションを行うことができるようになっている(S11)。
【0040】
S4のブラウズモードのブラウズ領域36(図8、図9参照)、S7のビューモードのサムネール領域41(図10参照)、S10のVLBモードのサムネール領域41(図11、図12参照)、等に表示されている画像は、絞り込み表示することができるようになっている(S12)。より詳しくは、上述したように分類されたカテゴリの何れか1以上を指定することにより、該指定されたカテゴリに属する画像のみが絞り込み表示され、また、何れのカテゴリにも属していない画像のみを絞り込み表示することも可能となっている。これにより、全ての画像の中から選定を行う場合よりも、容易に選定作業を行うことができるようになっている。
【0041】
また、S4のブラウズモード、S7のビューモード、S10のVLBモードの何れにおいても、一の画像を選択してフル画面表示に移行することができるようになっている(S13)。上記S7のビューモードは、画面の全部または一部に表示されている画像処理プログラムの表示ウィンドウにおいて、その中のビュー領域42のみに単一の画像を表示するものであるのに対して、このフル画面表示は、単一の画像を表示装置16の表示領域一杯に表示するモードである点が異なっている。
【0042】
このフル画面表示においても分類(S14)や選定コレクション(S15)を行うことが可能であるが、画像が全領域に表示されているために、分類用のチェックボックスや選定コレクション表示などは、該画像にスーパーインポーズして操作可能に表示されるようになっている。
【0043】
上記S5、S9、S11、S15の何れかにおいて選定された画像は、後述する副記憶装置15(図2参照)内のフォルダ15a(自動的に設定されるフォルダでも良いし、あるいはユーザが手動で選択したり作成したりしたフォルダでも構わない)に一括して保存(コピー)されるようになっている。
【0044】
記録媒体における同一の領域であるフォルダ15aに保存された画像ファイルは、その後に、この画像処理プログラムに内蔵されている機能である例えばローパスフィルタ処理やシャープネス補正などの画像編集処理(S16)を行ったり、あるいは複数の機能をまとめて処理することができるように記述されたバッチファイルに基づいてバッチ処理(S17)されたりするようになっている。
【0045】
また、フォルダ15aに保存された画像ファイルに、この画像処理プログラムとは別個の画像加工ソフトウェアによる処理を行ったり(S18)、後述する印刷装置21(図2参照)(S19)による印刷処理を行ったりすることも可能である。
【0046】
さらに、フォルダ15aに一旦格納された画像を、上記S4のブラウズモードやS7のビューモード、S10のVLBモードなどにおいて再び読み込んで、上述したような処理を繰り返して行うことも可能となっている。
【0047】
なお、図1に明示はしていないが、S4のブラウズモード、S7のビューモード、S10のVLBモードは、互いに双方向に移行することができるようになっていて、さらに、これらの各モードの何れからも上記S13のフル画面表示に移行し、また元のモードに復帰することが可能である。
【0048】
また、図1には示していないが、VLBモードの比較領域51(図11、図12参照)に表示されている画像をカテゴリに分類することができるようにしても構わない。
【0049】
図2は、PC2の構成の概要を示すブロック図である。
【0050】
このPC2は、CPU等でなる記憶制御手段たる制御装置11と、後述する表示装置16に表示される画面上の位置をポイントして操作を行うためのマウス12と、文字入力を行うためのキーボード13と、RAM等で構成されていて上記制御装置11による作業領域となる主記憶装置14と、ハードディスクなどの読み書き可能な記録媒体により構成されていてフォルダ等を用いた階層構造のファイルシステムが構築され画像処理プログラムや画像データなどを記録する副記憶装置15と、上記画像処理プログラムによる表示画面やその他の各種情報を視覚的に表示する表示装置16と、を有して構成されている。
【0051】
このPC2には、例えば印刷装置21が接続されており、上記制御装置11の制御によって上記主記憶装置14から転送された画像データを、該印刷装置21により印刷することができるようになっている。
【0052】
上記主記憶装置14には、PC2の基本動作を制御するためのオペレーティングシステムや、このオペレーティングシステム上で動作する画像処理プログラムなどが実行可能にロードされるとともに、さらに画像データ等の各種データもロードされて処理されるようになっている。
【0053】
上記画像処理プログラムは、上記副記憶装置15から画像データを読み込んだり、処理後の画像データを該副記憶装置15に書き込んだり、あるいは処理後の画像データを上記印刷装置21に出力したりする記憶制御手段たる画像読み書き手段17と、上記副記憶装置15の所定のフォルダに格納されている画像を予め用意されている複数のカテゴリの内の何れか1つのカテゴリに分類する分類手段18と、上記複数のカテゴリの何れか1以上が指定された場合にこの分類手段18により分類された画像の内の指定されたカテゴリに属する画像のみを上記表示装置16の所定の表示領域に表示する絞り込み表示手段19と、上記副記憶装置15から上記画像読み書き手段17を介して読み込まれた2以上の画像を上記表示装置16の所定の表示領域に表示して比較し選定するための比較選定手段20と、を含んで構成されている。
【0054】
続いて、このような画像処理プログラムの動作を説明するに先立って、図8から図12を参照して、画像処理プログラムによる画面表示の例について説明する。
【0055】
図8は、ブラウズモードにおいてコレクション領域を縮小表示したときの画面表示の一例を示す図である。
【0056】
画像処理プログラムのウィンドウ31には、画像処理プログラムの名称などを表示するタイトルバー32と、画像処理プログラムに係る各種の操作をプルダウン表示される各メニューにより行うためのメニューバー33と、画像処理プログラムに係る各種の操作機能をアイコンとして表示し上記マウス2等を用いてポインタ操作するためのツールバー34と、PC2の副記憶装置15内のドライブやフォルダをツリー構造(ディレクトリ構造)により示し画像が格納されたフォルダをダブルクリック等することによって該フォルダ内に格納されている画像が所定数だけ後述するブラウズ領域36に表示されるようになされたフォルダツリー35と、縮小された画像36b〜36fをファイル名や撮影日時とともに配列表示しこれらの画像が格納されているフォルダ36aを表示するとともに各画像36b〜36fのカテゴリを指定するための分類手段たる分類チェックボックス30を択一的にチェック可能に表示するブラウズ表示手段たるブラウズ領域36と、上記ブラウズ領域36に表示する画像のサイズを変更(画像サイズの変更に応じて表示される画像の数も適宜変更)するための表示サイズ切替スライダ37と、上記ブラウズ領域36に表示されている画像の中から選定した画像を登録するための領域(この例では、コレクション領域Aとコレクション領域Bの2つの領域が選定用に用意されている。)である選定手段たるコレクション領域38と、上記ブラウズ領域36に表示する画像のカテゴリを指定するためのものであり同時選択可能(上記分類チェックボックス30と異なり、複数同時選択が可能である。)な複数(図示の例ではハッチングで示される3つ)のカテゴリまたは何れのカテゴリにも属していない(図示の例ではハッチングなしで示される)ことを示すチェックボックス39aとカテゴリによらない全ての画像(ALL)を示すチェックボックス39bとを有して構成される指定手段たる分類チェックマークツールボックス39と、が表示されていて、さらに、上記ウィンドウ31とは別のウィンドウとして画像のプロパティを示すプロパティウィンドウ40が表示されている。
【0057】
上記プロパティウィンドウ40には、画像のプロパティとして、該画像から生成された輝度ヒストグラムが表示され、さらに一般プロパティとして、ファイル名、モデル名、カメラID、焦点距離、シャッタ速度、絞り値、ISO、露出補正、ホワイトバランス、撮影モード、フラッシュ、マクロ、フォーマット、画素数、撮影日時、コメント、などが表示可能となっている。このプロパティウィンドウ40には、上記一般プロパティ以外にも、さらに詳細なプロパティを表示することが可能である。
【0058】
図9は、ブラウズモードにおいてコレクション領域を通常表示したときの画面表示の一例を示す図である。
【0059】
上記コレクション領域38をブラウズ領域36の右側に拡大して通常表示としたものであり、コレクション領域Aが符号38Aにより、また、コレクション領域Bが符号38Bにより、それぞれ示されていて、各コレクション領域38A,38Bには、既に選定され登録されている画像が縮小して表示(サムネール表示)されている。
【0060】
さらに、各コレクション領域38A,38Bには、選定した画像群を副記憶装置15内のフォルダ15a(図1参照)に実際に格納(コピー)する処理を行わせるための保存ボタン38cが表示されている。
【0061】
図10は、ビューモードにおける画面表示の一例を示す図である。
【0062】
上記タイトルバー32、メニューバー33、ツールバー34が表示される他に、ウィンドウ31の左側には、複数のサムネール画像を配列して表示するサムネール領域41が、分類チェックマークツールボックス39により設定可能に表示されている。
【0063】
また、ウィンドウ31の中央部から右側にかけての大部分には、ビュー表示手段たるビュー領域42が、上記分類チェックボックス30によるカテゴリの指定可能に表示されている。
【0064】
さらに、ウィンドウ31の上記ビュー領域42の下側には、画像が欠けることなく且つ極力大きなサイズでビュー領域42に表示されるように調整するフィットボタン44と、画像を構成するピクセルが表示装置16による表示ピクセルと1:1に対応するように等倍表示を行う「1:1」として示されている等倍ボタン45と、クリックされる毎にビュー領域42に表示されている画像を所定量だけ縮小して表示する縮小ボタン46と、クリックされる毎にビュー領域42に表示されている画像を所定量だけ拡大して表示する拡大ボタン47と、クリックされることにより上記マウス12の操作に応答するポインタを移動ポインタ(クリックボタンを押下した状態でドラッグすることにより画像の移動を行うものであり、通常のポインタが例えば矢印のアイコンで表示されるのに対して、この移動ポインタは例えば手の形のアイコンで表示されるようになっている。)として設定する移動ポインタ設定ボタン48と、移動ポインタから通常のポインタに設定を戻すための通常ポインタ設定ボタン49と、上記サムネール領域41に配列されている順序列に従って1つ次の画像または1つ前の画像に移行して上記ビュー領域42に表示するための次/前画像ボタン50と、縮小表示されている上記コレクション領域38と、が表示されている。
【0065】
図11は、VLBモードにおける縦2分割表示の一例を示す図である。
【0066】
この縦2分割表示のウィンドウ31には、上記タイトルバー32、メニューバー33、サムネール領域41が表示される他に、該サムネール領域41から選択した画像を比較するために表示する比較表示手段たる比較領域51が表示されている。この比較領域51には、2つの表示領域51a,51bが上下に配列されて設けられている。
【0067】
また、上記サムネール領域41の下部には、上記分類チェックマークツールボックス39とともに、選択で追加チェックボックス52と一度に追加チェックボックス53とが表示されている。サムネール領域41から比較領域51へ画像を追加する際には、通常は、該サムネール領域41に表示されているサムネール画像を比較領域51へドラッグアンドドロップすることにより行われるようになっている。これに対して、上記選択で追加チェックボックス52は、サムネール領域41に表示されているサムネール画像をマウス12でシングルクリックするなどの選択操作を行うだけで、追加されるようにするためのチェックボックスである。また、上記一度に追加チェックボックス53は、上記サムネール領域41に表示されているサムネール画像を1つドラッグアンドドロップ(または、上記選択で追加チェックボックス52がチェックされている場合には選択)するだけで、該サムネール領域41に表示されている順序列に従って複数の画像を一括して比較領域51へ追加することができるようにするためのチェックボックスである。
【0068】
さらに、上記比較領域51の下部には、上記フィットボタン44、等倍ボタン45、縮小ボタン46、拡大ボタン47、移動ポインタ設定ボタン48、通常ポインタ設定ボタン49とともに、上記比較領域51に表示されている複数の画像を比較し易いようなサイズに設定するための比較ボタン43と、上記比較領域51に表示されている複数の画像について、上記縮小ボタン46/拡大ボタン47による縮小/拡大処理や上記移動ポインタ設定ボタン48により移動ポインタが設定されたときに行われる移動処理を連動させるための連動チェックボックス54と、比較領域51に表示されている画像の内のアクティブになっている画像が他の画像に入れ替えられることのないように仮止めしておくための画鋲ボタン55と、クリックされることにより上記サムネール領域41に表示されている順序列における次の画像(画像群)を上記比較領域51の画鋲ボタン55による仮止めがなされていない位置に追加する画像追加ボタン56と、が表示されている。この図11の表示例では、比較領域51の表示領域51aに表示されている画像に、上記画鋲ボタン55による仮止めがされていることを示す画鋲マーク55aが表示されている。
【0069】
そして、上記コレクション領域38A,38Bの下部には、上記比較領域51の画面のレイアウトを縦2分割、横2分割、4分割の何れかに変更するための表示モード切替ボタン57が表示されている。
【0070】
図12は、VLBモードにおける4分割表示の一例を示す図である。
【0071】
この4分割表示においては、ウィンドウ31の中央部から左にかけて比較領域51が表示されていて、この比較領域51には4つの表示領域51a,51b,51c,51dが、左上、右上、左下、右下の順に2×2の配列で表示されている。
【0072】
この比較領域51の下部には、上記サムネール領域41が表示されていて、このサムネール領域41内の上部には上記選択で追加チェックボックス52と一度に追加チェックボックス53とが表示され、該サムネール領域41の右下側には上記分類チェックマークツールボックス39が表示されている。
【0073】
また、上記比較領域51とサムネール領域41との間の領域には、上記比較ボタン43、フィットボタン44、等倍ボタン45、縮小ボタン46、拡大ボタン47、移動ポインタ設定ボタン48、通常ポインタ設定ボタン49、連動チェックボックス54、画鋲ボタン55、画像追加ボタン56、表示モード切替ボタン57が配列して表示されている。
【0074】
さらに、上記比較領域51およびサムネール領域41の右側には、上記図11と同様に、コレクション領域38A,38Bが表示されている。
【0075】
なお、この図12の表示例においては、比較領域51の表示領域51a,51dに表示されている画像に、上記画鋲ボタン55による仮止めがされていることを示す画鋲マーク55aがそれぞれ表示されている。
【0076】
図3は、上記分類手段18によって主に行われる動作を示すフローチャートである。
【0077】
処理が開始されると、上記画像読み書き手段17を介して副記憶装置15から画像データを読み込み(ステップS21)、ブラウズモードにおいて、ブラウズ領域36にフォルダ36aを表示するとともにサムネール画像36b,36c,…を表示する(ステップS22)。これらのサムネール画像36b,36c,…は、画像ファイルのヘッダ等にサムネール画像が記録されている場合にはその画像を読み出して用い、サムネール画像がない画像の場合には画像データから作成して用いるようになっている。
【0078】
次に、サムネール画像36b,36c,…のそれぞれに、分類チェックボックス30(図8、図9等参照)を表示する(ステップS23)。この分類チェックボックス30は、上述したように、択一的に選択することによりその画像が属するカテゴリを指定するためのものである。
【0079】
上記ブラウズモードからビューモードに移行した場合には、サムネール領域41にサムネール画像を表示するとともに、表示された中から指定された画像(指定された画像がない場合にはサムネール領域41に表示されている最初の画像)をビュー領域42に表示する(ステップS24)。このビュー領域42にも、図10に示したように、分類チェックボックス30が表示されている。
【0080】
また、サムネール画像36b,36c,…の何れかがフル画面表示をするように指定された場合には、フル画面表示を行う(ステップS26)。このフル画面表示においても、図示はしないが上述したように分類チェックボックス30が表示されている。
【0081】
上記ステップS23におけるブラウズモード、上記ステップS24におけるビューモード、上記ステップS26におけるフル画面表示、の何れかにおける分類チェックボックス30が、画像データ毎に3者択一でチェックされると(ステップS25)、その分類データが上記副記憶装置15内に、例えば画像ファイルとは独立した専用の分類ファイルなどとして記憶される(ステップS27)。この分類データの記憶動作は、画像単位で、上記分類チェックボックス30がチェックされる毎に行われる。
【0082】
図4は、上記絞り込み表示手段19によって主に行われる動作を示すフローチャートである。
【0083】
処理が開始されると、分類チェックマークツールボックス39を表示する(図8〜図12参照)(ステップS31)。
【0084】
この分類チェックマークツールボックス39に表示されたチェックボックス39aの何れか1以上のカテゴリのチェック(上述したように、複数を同時にチェックすることが可能である。)あるいは何れのカテゴリにも属していないことを示すチェック、または全ての画像を示すチェックボックス39bのチェックが、必要に応じてユーザにより行われる(ステップS32)。
【0085】
次に、分類チェックマークツールボックス39のチェック状態を判断して(ステップS33)、「ALL」のチェックボックス39bがチェックされている場合には、分類に関わらず全ての画像データを読み込む(ステップS34)。
【0086】
一方、上記ステップS33において、何れか1以上のチェックボックス39aがチェックされている場合には、各画像についての分類情報が格納されている上記分類ファイル等を読み込んで(ステップS35)、各画像のカテゴリが選択されたチェックボックス39aで示されるカテゴリ、またはチェックボックス39aで示される何れのカテゴリにも属していないことと一致するか否かを判断し(ステップS36)、一致しない場合には上記ステップS35へ行って次の画像の分類ファイルのデータを読み込む。
【0087】
上記ステップS36において、画像のカテゴリが一致、または何れのカテゴリにも属していないことが一致、した場合には、その画像データの読み込みを行う(ステップS37)。
【0088】
このステップS37において読み込まれた画像データ、または上記ステップS34において読み込まれた画像データを、ブラウズモードである場合にはブラウズ領域36に、ビューモードまたはVLBモードである場合にはサムネール領域41に、それぞれサムネール表示する(ステップS38)。これにより、指定したカテゴリの画像のみ(何れのカテゴリにも属さない画像を指定したときにはその画像)が絞り込んで表示されることになる。
【0089】
図5は、上記比較選定手段20によって主に行われるブラウズモード時の動作を示すフローチャートである。
【0090】
PC2において画像処理プログラムの実行が開始されるか、または他のモードからブラウズモードへの移行が操作されると、コレクション領域を通常表示(図9のコレクション領域38A,38Bを参照)、または縮小表示(図8のコレクション領域38を参照)する(ステップS41)。
【0091】
次に、ブラウズ領域36に表示されているサムネール画像の何れかが、ユーザによるマウス12等の操作によって、必要に応じて選択される(ステップS42)。
【0092】
選択された画像を、コレクション領域Aまたはコレクション領域Bの何れか指定された方の領域(コレクション領域Aとコレクション領域Bとの両方が指定された場合には両方の領域)へ登録する(ステップS43)。この登録は、仮登録というべきものであり、保存ボタン38cがクリックされた時点で初めてフォルダ15aへ画像ファイルのコピーが行われることになるが、このステップS43ではコピー対象の画像ファイルとなったことを登録するだけである。
【0093】
次に、他の画像について選択を行うか否かを判断し(ステップS44)、行う場合には上記ステップS42へ戻って上述したような処理を繰り返して行う。
【0094】
また、他の画像選択を行わない場合には、上記保存ボタン38cがクリックされた場合に登録フォルダの指定等の処理を行い、または他のモードへの切替操作が行われた場合にはそれに応じたモード移行を行う(ステップS45)。
【0095】
図6は、上記比較選定手段20によって主に行われるビューモードまたは全画面表示のときの動作を示すフローチャートである。
【0096】
ビューモードまたは全画面表示への移行が操作されると、コレクション領域を縮小表示(図10のコレクション領域38を参照)する(ステップS51)。
【0097】
次に、ユーザがサムネール領域41から画像を1つドラッグアンドドロップ等により選択すると(ステップS52)、選択された単画像がビュー領域42に表示(または全画面表示)される(ステップS53)。
【0098】
ここで表示された画像を登録するか否かを判断して(ステップS54)、登録する場合にはコレクション領域Aまたはコレクション領域Bの何れか指定された方へ登録処理を行う(ステップS55)。
【0099】
このステップS55が終了するか、または上記ステップS54において登録しないと判断された場合には、サムネール領域41から他の画像が選択されたか否か、あるいは、次/前画像ボタン50の操作があったか否か、等により次の単画像を選択するか否かを判断し(ステップS56)、選択する場合には上記ステップS52へ戻って上述したような処理を繰り返して行う。
【0100】
また、次の画像を1つ選択しない場合には、登録フォルダの指定を行うか、または他のモードへの切替を行う(ステップS57)。
【0101】
図7は、上記比較選定手段20によって主に行われるVLBモード時の動作を示すフローチャートである。
【0102】
VLBモードへの移行が操作されると、サムネール領域41と、縦2分割の比較領域51と、コレクション領域38A,38Bと、を図11に示すように同時に表示する(ステップS61)。ここでは、VLBモードに移行したときの初期状態として、例えば縦2分割が設定されるようになっている。
【0103】
その後に、ユーザが、必要に応じて、上記表示モード切替ボタン57により比較領域の切替操作を行う(ステップS62)。この実施形態においては、切替可能な比較領域として、縦2分割(図11参照)、横2分割、4分割(図12参照)の3種類が予め用意されているが、もちろんこれらに限定されるものではない。
【0104】
ステップS62において比較領域の切換操作が行われた場合には、該操作に応じて、表示の変更を行う(ステップS63)。なお、比較領域の切替が操作されない場合には、上記ステップS62およびステップS63においては特段の処理を行うことなく、そのまま後の処理に進む。
【0105】
次に、サムネール領域41に表示されたサムネール画像が、ユーザにより必要に応じて選択される(ステップS64)。
【0106】
ここで選択された画像は、比較領域51に登録されて表示される(ステップS65)。
【0107】
比較領域51に複数の画像が表示されたところで、ユーザが画像同士を比較するが、その際には、必要に応じて、縮小ボタン46/拡大ボタン47による画像の縮小/拡大や、移動ポインタ設定ボタン48による画像の移動などの操作が行われ、その操作に応じて表示されている画像の処理が行われる(ステップS66)。
【0108】
次に、比較領域51に表示されている画像の何れかをコレクション領域へ登録するか否かを判断して(ステップS67)、登録しない場合には、上記ステップS64へ戻って上述したような処理を繰り返して行う。
【0109】
また、ステップS67において登録する場合には、コレクション領域38Aまたはコレクション領域38Bの何れか指定された方へ登録する処理を行う(ステップS68)。
【0110】
その後、次の画像を選択するか否かを判断して(ステップS69)、選択する場合には上記ステップS64へ戻って上述したような処理を繰り返して行う。
【0111】
一方、次の画像を選択しない場合には、登録フォルダの指定を行うか、または他のモードへの切替を行う(ステップS70)。
【0112】
なお、上述したような画像処理プログラムは、コンピュータにより読み取り可能な記録媒体に記録して、他のコンピュータにおいて読み取らせ実行させることにより、該他のコンピュータを同様に機能させることが可能となっている。
【0113】
さらに、上述では、デジタルカメラと接続された汎用のPC上で、画像処理プログラムを動作させることにより、画像処理装置を構成したが、これに限るものではなく、画像処理プログラムが動作するコンピュータと同様の機能をハードウェアにより実現するような専用の画像処理装置を構成しても構わない。
【0114】
このような実施形態によれば、多数の画像から幾つかの画像の選定を行う際に、画像をカテゴリに分類して、分類されたカテゴリの画像群の中から選定を行うことが可能であるために、所望の画像を簡単な操作で選定することができる。
【0115】
さらに、画像をカテゴリに分類する作業を、画像処理装置として機能する画像処理プログラムが実行されているPC上において行っているために、デジタルカメラ等において予め分類がなされていない画像についても処理することが可能となり、汎用性が高い利点がある。
【0116】
また、カテゴリを分類するための分類チェックボックスとして、例えば色分けしたもの等を用いることにより、各色をどのような分類に用いるかをユーザ自身が決定することができ、種々の目的に対応して使うことが可能となる。
【0117】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【0118】
【発明の効果】
以上説明したように本発明の画像処理方法によれば、例えば、ほぼ同じ撮影シーンを露出を変化させて複数枚撮影したときにどの露出状態の画像を選定するかや、類似したカットが複数枚あるときにそれらの内の何れを選定するかなどの場合にも、多数の画像の中から所望の画像を簡単な操作で選定することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態において、画像を選定する際の状態の移り変わりを示す状態遷移図。
【図2】上記実施形態におけるPCの構成の概要を示すブロック図。
【図3】上記実施形態の分類手段によって主に行われる動作を示すフローチャート。
【図4】上記実施形態の絞り込み表示手段によって主に行われる動作を示すフローチャート。
【図5】上記実施形態の比較選定手段によって主に行われるブラウズモード時の動作を示すフローチャート。
【図6】上記実施形態の比較選定手段によって主に行われるビューモードまたは全画面表示のときの動作を示すフローチャート。
【図7】上記実施形態の比較選定手段によって主に行われるVLBモード時の動作を示すフローチャート。
【図8】上記実施形態のブラウズモードにおいてコレクション領域を縮小表示したときの画面表示の一例を示す図。
【図9】上記実施形態のブラウズモードにおいてコレクション領域を通常表示したときの画面表示の一例を示す図。
【図10】上記実施形態のビューモードにおける画面表示の一例を示す図。
【図11】上記実施形態のVLBモードにおける縦2分割表示の一例を示す図。
【図12】上記実施形態のVLBモードにおける4分割表示の一例を示す図。
【符号の説明】
1…デジタルカメラ
2…パーソナルコンピュータ(PC)
3…メディアカード
11…制御装置(記憶制御手段)
12…マウス
13…キーボード
14…主記憶装置
15…副記憶装置(記録媒体)
15a…フォルダ
16…表示装置
17…画像読み書き手段(記憶制御手段)
18…分類手段
19…絞り込み表示手段
20…比較選定手段(選定手段)
21…印刷装置
30…分類チェックボックス(分類手段)
36…ブラウズ領域(表示手段、ブラウズ表示手段)
38,38A,38B…コレクション領域(選定手段)
38c…保存ボタン
39…分類チェックマークツールボックス(指定手段)
39a…チェックボックス
39b…チェックボックス(ALL)
41…サムネール領域
42…ビュー領域(表示手段、ビュー表示手段)
43…比較ボタン
44…フィットボタン
45…等倍ボタン
46…縮小ボタン
47…拡大ボタン
48…移動ポインタ設定ボタン
49…通常ポインタ設定ボタン
51…比較領域(表示手段、比較表示手段)
52…選択で追加チェックボックス
53…一度に追加チェックボックス
54…連動チェックボックス
55…画鋲ボタン
55a…画鋲マーク
56…画像追加ボタン
57…表示モード切替ボタン
[0001]
BACKGROUND OF THE INVENTION
The present invention is for selecting a desired image from a plurality of images. Painting The present invention relates to an image processing method.
[0002]
[Prior art]
With the recent development of Internet technology, the demand for posting images on homepages has increased, and digital cameras that can easily shoot digital still images are becoming widespread. Not only in the field of personal use, but also in the field of professional use such as news photography and advertising photography, development is unnecessary and images can be transmitted to newspapers and the like by communication. The company is building a firm position because it is becoming possible to take high-definition images that are comparable to salt photography, and because it can easily digitally process the taken pictures.
[0003]
Digital cameras use recording media such as memory cards that can be recorded repeatedly, unlike silver-salt films that cannot be recorded again once recorded, so there is no need to fear failure photos. There is a feature that can take images. In addition to this, with the recent increase in capacity of recording media, the number of images handled by users tends to become enormous.
[0004]
For example, an individual user selects an image for use on a New Year's card, or a professional photographer selects an image for publication in a magazine, etc. from such a large number of images. As the number of images increases, it becomes a difficult task.
[0005]
Based on this viewpoint, various image processing techniques for selecting a desired image from a large number of images as easily as possible and grouping them have been proposed.
[0006]
As such a technique, for example, in Japanese Patent Laid-Open No. 2001-109080, an image is input together with additional information in an image creating apparatus that creates an index image that is one image formed by arranging a plurality of images in a matrix. Means for classifying the input images for classification and grouping; means for grouping the input images with reference to the additional information of the images according to the specified classification items; An image creating apparatus is provided that includes a group of arranged image groups for each group, and a means for editing an index image to which visual information is added so that the type of group to which the image belongs can be recognized. ing.
[0007]
Japanese Patent Application Laid-Open No. 9-258709 discloses a display unit that converts a signal received from a communication path through a communication control unit using a conversion unit and displays an image received using the display control unit, and a plurality of pieces of image information. When the image is received, the image is displayed using the screen division display unit in an image communication terminal having a screen division display unit that divides one screen and displays a plurality of images at the same time and a storage unit that stores the received image. A screen division display method in an image communication terminal is described in which a selected specific image is left out of a plurality of images, and an image other than the selected image is replaced with undisplayed image information stored in the terminal.
[0008]
[Patent Document 1]
JP 2001-109080 A
[0009]
[Patent Document 2]
Japanese Patent Laid-Open No. 9-258709
[0010]
[Problems to be solved by the invention]
However, in the one described in the above Japanese Patent Application Laid-Open No. 2001-109080, since it is grouped with reference to the additional information of the input image, it is not always intended when there is no additional information or when the additional information is not appropriate. It cannot be classified as done.
[0011]
In addition, in the case of the above-described Japanese Patent Application Laid-Open No. 9-258709, the candidate images that can be compared cannot be seen until the images are displayed on the divided screen, so that the comparison efficiency is good. Absent.
[0012]
The present invention has been made in view of the above circumstances, and allows a desired image to be selected from a large number of images with a simple operation. Painting An object of the present invention is to provide an image processing method.
[0013]
[Means for Solving the Problems]
In order to achieve the above object, an image processing method of the present invention is an image processing method in an image processing apparatus controlled by a programmed computer, in which the image processing apparatus displays a plurality of images; A device classifying the plurality of images into a plurality of categories; an image processing device designating one or more categories from the plurality of categories in response to a user operation; A step of displaying a reduced image of an image belonging to one of the specified one or more categories, and a step of the image processing device selecting a plurality of images from the displayed reduced images in response to a user operation. And when the image processing apparatus selects the plurality of selected images The ratio A step of displaying in the comparison area, a step in which the image processing apparatus performs at least one image processing of reduction, enlargement, or movement on the plurality of images displayed in the comparison area; Selecting an image from the plurality of images displayed in the comparison area in response to a user operation.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 to FIG. 12 show an embodiment of the present invention, and FIG. 1 is a state transition diagram showing a state transition when an image is selected.
[0022]
In the present embodiment, an image processing program is executed on a personal computer (PC) 2 to cause the PC 2 to function as an image processing apparatus and to select a desired image from a plurality of images. is there.
[0023]
The digital camera 1 is loaded with a media card 3 configured as, for example, a card-like recording medium, and records a photographed image on the media card 3. The captured image recorded on the media card 3 is transferred to the PC 2 and taken in via the media card reader 4 or by directly connecting the digital camera 1 and the PC 2 (S1).
[0024]
In addition, as a means for transferring an image taken from the digital camera 1 to the PC 2, the PC 2 and the digital camera 1 are connected bidirectionally via a communication line such as IEEE 1394 or USB 2.0, and controlled by the PC 2, It is also possible to capture and capture an image captured by the digital camera 1 on the PC 2 (S2, S3).
[0025]
The images thus captured in the PC 2 are sequentially accumulated every time shooting is performed, and many images may be recorded in the PC 2 over time.
[0026]
As described above, when using images for various purposes, such as for magazines, Internet homepages, and New Year's cards, select an appropriate image according to the purpose from these many images, and then necessary Image processing or the like is performed according to the above.
[0027]
When performing such selection, an image processing program stored in the PC 2 is operated on an operating system for controlling the basic operation of the PC 2.
[0028]
Then, after performing various initialization processes, a browse mode screen (see FIGS. 8 and 9) as described later is displayed (S4).
[0029]
In this browse mode, a plurality of reduced images (thumbnail images) are arranged and displayed. From these images, an image to be selected is selected and dragged and dropped onto the collection area, etc. Thus, selection collection can be performed (S5).
[0030]
However, as described above, selecting a target image from a large number of images requires memory and attention, and is a difficult task. Therefore, the images are classified into several categories (S6), Selection work can be performed from the classified images.
[0031]
As an example of classification, there are three types of categories such as an image with high importance, an image with medium importance, and an image with relatively low importance, and images that do not belong to any of these categories have importance. By classifying the images into a total of four categories and designating the categories thereafter, only images belonging to the designated category can be browsed and displayed.
[0032]
In the present embodiment, check boxes that are color-coded to red (R), yellow (Y), blue (B), etc. are provided, and the check boxes are checked and used. In addition to being used for classification, it may be classified according to whether the shooting location is a studio, indoor location, outdoor location, etc., or according to time zones such as daytime shooting, morning and evening shooting, nighttime shooting, etc. However, the present invention is not limited to these, and the user can freely use it according to his / her purpose.
[0033]
At this time, the check boxes are not limited to being classified by color, but may be classified by, for example, graphics such as ◎, ○, and Δ, and other easy-to-recognize means can be widely applied. .
[0034]
Thus, it is possible to classify images into categories in the browse mode or other modes on the PC 2 and then select an image to be selected using a VLB (virtual light box) or the like to be described later.
[0035]
After performing the classification of S6 in the browse mode of S4, or directly from the browse mode of S4, it is possible to shift to the view mode (see FIG. 10).
[0036]
In this view mode, a single image selected from the thumbnail area 41 (see FIG. 10) is enlarged and displayed in the view area 42 (see FIG. 10) (S7). Even in this view mode, it is possible to perform classification (S8) and selection collection (S9) while observing an enlarged image.
[0037]
After performing the classification of S6 directly from the browse mode of S4, and after performing the classification of S8 directly from the view mode of S7, it is possible to shift to the VLB mode (see FIGS. 11 and 12). It is configured to be able to.
[0038]
This VLB mode is a mode for selecting a comparatively small number of two or four images by comparison with each other (S10). Specifically, the VLB mode is, for example, which exposure state is selected when a plurality of images of the same shooting scene are shot with different exposures, or when there are a plurality of similar cuts. This mode is often used when selecting one of these.
[0039]
Accordingly, the selected collection can be performed also in this VLB mode (S11).
[0040]
Browse area 36 in S4 browse mode (see FIGS. 8 and 9), thumbnail area 41 in view mode in S7 (see FIG. 10), thumbnail area 41 in VLB mode in S10 (see FIGS. 11 and 12), etc. The displayed image can be narrowed down (S12). More specifically, by designating any one or more of the categories classified as described above, only images belonging to the designated category are narrowed down and displayed, and only images that do not belong to any category are displayed. It is also possible to narrow down the display. As a result, the selection operation can be performed more easily than when selecting from all the images.
[0041]
Further, in any of the browse mode of S4, the view mode of S7, and the VLB mode of S10, one image can be selected to shift to a full screen display (S13). The view mode of S7 is for displaying a single image only in the view area 42 in the display window of the image processing program displayed on all or part of the screen. The full screen display is different in that it is a mode in which a single image is displayed in the full display area of the display device 16.
[0042]
Classification (S14) and selection collection (S15) can also be performed in this full screen display. However, since the image is displayed in the entire area, the classification check box, the selection collection display, etc. It is displayed so that it can be manipulated by superimposing it on the image.
[0043]
The image selected in any one of S5, S9, S11, and S15 may be a folder 15a (a folder that is automatically set) in a secondary storage device 15 (see FIG. 2) described later, or manually by the user. (You can select or create a folder)
[0044]
The image file saved in the folder 15a, which is the same area on the recording medium, is then subjected to image editing processing (S16) such as low-pass filter processing and sharpness correction, which are functions built in the image processing program. Or batch processing (S17) based on a batch file described so that a plurality of functions can be processed collectively.
[0045]
Further, the image file stored in the folder 15a is processed by image processing software separate from the image processing program (S18), or the printing process by the printing device 21 (see FIG. 2) (S19) described later is performed. It is also possible to do.
[0046]
Further, the image once stored in the folder 15a can be read again in the browse mode of S4, the view mode of S7, the VLB mode of S10, etc., and the above-described processing can be repeated.
[0047]
Although not explicitly shown in FIG. 1, the browse mode of S4, the view mode of S7, and the VLB mode of S10 can be shifted to each other. In any case, it is possible to shift to the full screen display in S13 and return to the original mode.
[0048]
Although not shown in FIG. 1, the images displayed in the VLB mode comparison area 51 (see FIGS. 11 and 12) may be classified into categories.
[0049]
FIG. 2 is a block diagram showing an outline of the configuration of the PC 2.
[0050]
The PC 2 includes a control device 11 that is a storage control means such as a CPU, a mouse 12 for operating by pointing a position on a screen displayed on a display device 16 to be described later, and a keyboard for inputting characters. 13, a main storage device 14 composed of a RAM or the like and serving as a work area for the control device 11, and a hierarchical file system composed of a readable / writable recording medium such as a hard disk and using folders or the like The secondary storage device 15 records an image processing program, image data, and the like, and the display device 16 visually displays a display screen and other various information by the image processing program.
[0051]
For example, a printing device 21 is connected to the PC 2, and image data transferred from the main storage device 14 under the control of the control device 11 can be printed by the printing device 21. .
[0052]
The main storage device 14 is loaded with an operating system for controlling basic operations of the PC 2 and an image processing program that runs on the operating system, and also loads various data such as image data. Has been processed.
[0053]
The image processing program stores image data from the secondary storage device 15, writes processed image data to the secondary storage device 15, or outputs processed image data to the printing device 21. Image reading / writing means 17 as control means, classification means 18 for classifying an image stored in a predetermined folder of the secondary storage device 15 into one of a plurality of categories prepared in advance, and Narrowed-down display means for displaying only images belonging to the specified category among the images classified by the classification means 18 when any one or more of a plurality of categories is designated. 19 and two or more images read from the secondary storage device 15 via the image read / write means 17 are displayed in a predetermined table of the display device 16. It is configured to include a comparison selecting means 20 for selecting and compared by displaying the region.
[0054]
Next, prior to describing the operation of such an image processing program, an example of screen display by the image processing program will be described with reference to FIGS.
[0055]
FIG. 8 is a diagram showing an example of a screen display when the collection area is reduced and displayed in the browse mode.
[0056]
The image processing program window 31 includes a title bar 32 for displaying the name of the image processing program, a menu bar 33 for performing various operations related to the image processing program using respective menus displayed in a pull-down manner, and an image processing program. A tool bar 34 for displaying various operation functions as icons and operating the pointer using the mouse 2 or the like, and a drive or folder in the secondary storage device 15 of the PC 2 are shown by a tree structure (directory structure) and an image is stored. A folder tree 35 in which a predetermined number of images stored in the folder are displayed in a browse area 36, which will be described later, by double-clicking on the folder, and reduced images 36b to 36f are filed. These images are displayed in a sequence with name and shooting date and time. A browse area 36 as browse display means for displaying the classified check box 30 as a classification means for specifying the category of each of the images 36b to 36f, and the browse area 36a. A display size switching slider 37 for changing the size of the image displayed on the display 36 (and changing the number of images displayed in accordance with the change of the image size) and the image displayed in the browse area 36. A collection area 38 which is an area for registering the selected image (in this example, two areas of the collection area A and the collection area B are prepared for selection) and the browse area 36. This is for specifying the category of the image to be displayed and can be selected simultaneously (the above classification check box 3 In contrast, it is possible to select a plurality of categories simultaneously (three shown by hatching in the example shown) or not belong to any category (shown without hatching in the example shown). A classification checkmark tool box 39 as a designation means configured to include a check box 39a to be displayed and a check box 39b to indicate all images (ALL) that do not depend on the category is displayed. A property window 40 showing image properties is displayed as a separate window.
[0057]
In the property window 40, a luminance histogram generated from the image is displayed as an image property. Further, as general properties, a file name, a model name, a camera ID, a focal length, a shutter speed, an aperture value, ISO, an exposure value are displayed. Correction, white balance, shooting mode, flash, macro, format, number of pixels, shooting date, comment, etc. can be displayed. In the property window 40, more detailed properties can be displayed in addition to the general properties.
[0058]
FIG. 9 is a diagram showing an example of a screen display when the collection area is normally displayed in the browse mode.
[0059]
The collection area 38 is enlarged to the right of the browse area 36 for normal display. The collection area A is indicated by reference numeral 38A, and the collection area B is indicated by reference numeral 38B. , 38B, the images already selected and registered are reduced and displayed (thumbnail display).
[0060]
Further, in each collection area 38A, 38B, a save button 38c for displaying the selected image group in the folder 15a (see FIG. 1) in the secondary storage device 15 for actual storage (copying) is displayed. Yes.
[0061]
FIG. 10 is a diagram illustrating an example of a screen display in the view mode.
[0062]
In addition to displaying the title bar 32, menu bar 33, and tool bar 34, a thumbnail area 41 for arranging and displaying a plurality of thumbnail images on the left side of the window 31 can be set by a classification checkmark tool box 39. It is displayed.
[0063]
Further, in most of the window 31 from the center to the right side, a view area 42 as a view display means is displayed so that a category can be specified by the classification check box 30.
[0064]
Further, below the view area 42 of the window 31, a fit button 44 that adjusts the image so that the image is displayed in the view area 42 with a size as large as possible without being missing, and pixels that constitute the image are displayed on the display device 16. The same size button 45 shown as “1: 1” for displaying the same size as the display pixel corresponding to 1: 1, and the image displayed in the view area 42 each time it is clicked, by a predetermined amount A reduction button 46 for reducing the size of the image, a magnification button 47 for enlarging the image displayed in the view area 42 by a predetermined amount each time it is clicked, and an operation of the mouse 12 when clicked. Move the pointer to respond to the move pointer (you can move the image by dragging it with the click button pressed) For example, it is displayed as an arrow icon, but this moving pointer is displayed as, for example, a hand-shaped icon.) A moving pointer setting button 48 to be set and a normal pointer from the moving pointer The normal pointer setting button 49 for returning to the setting and the next image for shifting to the next image or the previous image in accordance with the order sequence arranged in the thumbnail area 41 and displaying in the view area 42 The / previous image button 50 and the collection area 38 displayed in a reduced size are displayed.
[0065]
FIG. 11 is a diagram illustrating an example of vertically divided display in the VLB mode.
[0066]
In addition to the title bar 32, the menu bar 33, and the thumbnail area 41 being displayed in the vertically divided window 31, the comparison as a comparison display means for displaying images selected from the thumbnail area 41 is compared. An area 51 is displayed. In this comparison area 51, two display areas 51a and 51b are arranged vertically.
[0067]
In addition to the sorting checkmark tool box 39, an additional check box 52 and an additional check box 53 at a time are displayed at the bottom of the thumbnail area 41. When an image is added from the thumbnail area 41 to the comparison area 51, the thumbnail image displayed in the thumbnail area 41 is normally dragged and dropped to the comparison area 51. On the other hand, the addition check box 52 in the above selection is a check box for adding a thumbnail image displayed in the thumbnail area 41 by simply performing a selection operation such as single-clicking with the mouse 12. It is. In addition, the add check box 53 at a time simply drags and drops one thumbnail image displayed in the thumbnail area 41 (or selects if the add check box 52 is checked in the above selection). This is a check box for enabling a plurality of images to be added to the comparison area 51 in a batch according to the order sequence displayed in the thumbnail area 41.
[0068]
Further, in the lower part of the comparison area 51, the fit button 44, the same size button 45, the reduction button 46, the enlargement button 47, the movement pointer setting button 48, and the normal pointer setting button 49 are displayed in the comparison area 51. A comparison button 43 for setting a plurality of images to be easily sized and a plurality of images displayed in the comparison area 51 are reduced / enlarged by the reduction button 46 / enlargement button 47 or An interlocking check box 54 for interlocking movement processing performed when the movement pointer is set by the movement pointer setting button 48, and an active image among the images displayed in the comparison area 51 are the other images. Clicked with a thumbtack button 55 to temporarily fix the image so that it cannot be replaced. And the image addition button 56 for adding the next image (image group) in the sequence displayed in the thumbnail area 41 to the position where the comparison area 51 is not temporarily fixed by the thumbtack button 55 is displayed. ing. In the display example of FIG. 11, a thumbtack mark 55 a indicating that the thumbtack by the thumbtack button 55 is temporarily displayed is displayed on the image displayed in the display area 51 a of the comparison area 51.
[0069]
A display mode switching button 57 is displayed below the collection areas 38A and 38B for changing the screen layout of the comparison area 51 to any one of two vertical divisions, two horizontal divisions, and four divisions. .
[0070]
FIG. 12 is a diagram illustrating an example of a quadrant display in the VLB mode.
[0071]
In this quadrant display, a comparison area 51 is displayed from the center of the window 31 to the left, and four display areas 51a, 51b, 51c, 51d are displayed in the comparison area 51 in the upper left, upper right, lower left, and right. They are displayed in a 2 × 2 array in the order below.
[0072]
The thumbnail area 41 is displayed at the lower part of the comparison area 51, and an additional check box 52 and an additional check box 53 at the same time are displayed at the upper part of the thumbnail area 41, and the thumbnail area 41 is displayed. The classification checkmark tool box 39 is displayed on the lower right side of 41.
[0073]
The comparison area 51 and the thumbnail area 41 have an area between the comparison button 43, the fit button 44, the same size button 45, the reduction button 46, the enlargement button 47, the moving pointer setting button 48, and the normal pointer setting button. 49, an interlocking check box 54, a thumbtack button 55, an image addition button 56, and a display mode switching button 57 are arranged and displayed.
[0074]
Further, on the right side of the comparison area 51 and the thumbnail area 41, collection areas 38A and 38B are displayed as in FIG.
[0075]
In the display example of FIG. 12, the thumbtack mark 55a indicating that the thumbtack button 55 is temporarily fixed is displayed on the images displayed in the display areas 51a and 51d of the comparison area 51, respectively. Yes.
[0076]
FIG. 3 is a flowchart showing operations mainly performed by the classification means 18.
[0077]
When the processing is started, image data is read from the secondary storage device 15 via the image read / write means 17 (step S21), and in the browse mode, the folder 36a is displayed in the browse area 36 and thumbnail images 36b, 36c,. Is displayed (step S22). These thumbnail images 36b, 36c,... Are read out and used when the thumbnail image is recorded in the header of the image file or the like, and are created from the image data and used when there is no thumbnail image. It is like that.
[0078]
Next, a classification check box 30 (see FIG. 8, FIG. 9, etc.) is displayed on each of the thumbnail images 36b, 36c,... (Step S23). As described above, the classification check box 30 is used for designating a category to which the image belongs by alternatively selecting.
[0079]
When the browse mode is changed to the view mode, a thumbnail image is displayed in the thumbnail area 41, and a designated image (displayed in the thumbnail area 41 when there is no designated image) is displayed. Is displayed in the view area 42 (step S24). Also in this view area 42, as shown in FIG. 10, a classification check box 30 is displayed.
[0080]
If any one of the thumbnail images 36b, 36c,... Is designated to be displayed on the full screen, the full screen display is performed (step S26). Even in this full screen display, although not shown, the classification check box 30 is displayed as described above.
[0081]
When the classification check box 30 in any of the browse mode in step S23, the view mode in step S24, and the full screen display in step S26 is checked for each image data (step S25), The classification data is stored in the secondary storage device 15 as, for example, a dedicated classification file independent of the image file (step S27). This classification data storage operation is performed every time the classification check box 30 is checked in image units.
[0082]
FIG. 4 is a flowchart showing an operation mainly performed by the narrowing-down display means 19.
[0083]
When the process is started, the classification checkmark tool box 39 is displayed (see FIGS. 8 to 12) (step S31).
[0084]
Any one or more of the check boxes 39a displayed in the classification check mark tool box 39 is checked (as described above, a plurality can be checked at the same time) or does not belong to any category. A check indicating this or a check in the check box 39b indicating all images is performed by the user as necessary (step S32).
[0085]
Next, the check state of the classification checkmark tool box 39 is determined (step S33). If the “ALL” check box 39b is checked, all image data is read regardless of the classification (step S34). ).
[0086]
On the other hand, if any one or more check boxes 39a are checked in step S33, the classification file storing the classification information for each image is read (step S35), It is determined whether the category matches the category indicated by the selected check box 39a or not belonging to any category indicated by the check box 39a (step S36). Go to S35 and read the data of the next image classification file.
[0087]
If it is determined in step S36 that the image category matches or does not belong to any category, the image data is read (step S37).
[0088]
The image data read in step S37 or the image data read in step S34 is stored in the browse area 36 in the browse mode and in the thumbnail area 41 in the view mode or VLB mode, respectively. A thumbnail is displayed (step S38). As a result, only the images in the designated category (if an image that does not belong to any category is designated, the image) is narrowed down and displayed.
[0089]
FIG. 5 is a flowchart showing the operation in the browse mode mainly performed by the comparison / selection means 20.
[0090]
When the execution of the image processing program is started in the PC 2 or the transition from the other mode to the browse mode is operated, the collection area is normally displayed (see the collection areas 38A and 38B in FIG. 9) or the reduced display. (See the collection area 38 in FIG. 8) (step S41).
[0091]
Next, one of the thumbnail images displayed in the browse area 36 is selected as necessary by the user's operation of the mouse 12 or the like (step S42).
[0092]
The selected image is registered in the designated one of the collection area A and the collection area B (or both areas when both the collection area A and the collection area B are designated) (step S43). ). This registration is supposed to be provisional registration, and the image file is copied to the folder 15a for the first time when the save button 38c is clicked. In step S43, the image file is the copy target image file. Just register.
[0093]
Next, it is determined whether or not another image is to be selected (step S44). If so, the process returns to step S42 to repeat the above-described processing.
[0094]
When no other image is selected, processing such as specifying a registered folder is performed when the save button 38c is clicked, or when an operation for switching to another mode is performed. Mode transition is performed (step S45).
[0095]
FIG. 6 is a flowchart showing the operation in the view mode or full screen display mainly performed by the comparison / selection means 20.
[0096]
When the shift to the view mode or full screen display is operated, the collection area is displayed in a reduced size (see the collection area 38 in FIG. 10) (step S51).
[0097]
Next, when the user selects one image from the thumbnail area 41 by drag and drop or the like (step S52), the selected single image is displayed (or displayed on the full screen) in the view area 42 (step S53).
[0098]
It is determined whether or not the image displayed here is to be registered (step S54), and in the case of registration, registration processing is performed for the designated one of the collection area A and the collection area B (step S55).
[0099]
If step S55 is completed or if it is determined not to register in step S54, whether another image has been selected from the thumbnail area 41, or whether the next / previous image button 50 has been operated. Or the like, it is determined whether or not the next single image is to be selected (step S56). If so, the process returns to step S52 to repeat the above-described processing.
[0100]
If one next image is not selected, the registration folder is designated or the mode is switched to another mode (step S57).
[0101]
FIG. 7 is a flowchart showing the operation in the VLB mode mainly performed by the comparison / selection means 20.
[0102]
When the transition to the VLB mode is operated, the thumbnail area 41, the vertically divided comparison area 51, and the collection areas 38A and 38B are simultaneously displayed as shown in FIG. 11 (step S61). Here, as an initial state when shifting to the VLB mode, for example, vertical division is set.
[0103]
Thereafter, the user performs a comparison area switching operation by the display mode switching button 57 as necessary (step S62). In this embodiment, there are three types of comparison areas that can be switched: vertical two divisions (see FIG. 11), horizontal two divisions, and four divisions (see FIG. 12). It is not a thing.
[0104]
When the comparison area switching operation is performed in step S62, the display is changed in accordance with the operation (step S63). If switching of the comparison area is not operated, the process proceeds to the subsequent process without performing any special process in step S62 and step S63.
[0105]
Next, the thumbnail image displayed in the thumbnail area 41 is selected by the user as needed (step S64).
[0106]
The image selected here is registered and displayed in the comparison area 51 (step S65).
[0107]
When a plurality of images are displayed in the comparison area 51, the user compares the images. At that time, the image is reduced / enlarged by the reduction button 46 / enlargement button 47, or a moving pointer is set as necessary. An operation such as moving an image with the button 48 is performed, and the displayed image is processed in accordance with the operation (step S66).
[0108]
Next, it is determined whether or not any of the images displayed in the comparison area 51 is registered in the collection area (step S67). If not registered, the process returns to step S64 and the processing as described above. Repeat this step.
[0109]
In the case of registration in step S67, a process of registering in the designated one of the collection area 38A and the collection area 38B is performed (step S68).
[0110]
Thereafter, it is determined whether or not the next image is to be selected (step S69). If so, the process returns to step S64 to repeat the above-described processing.
[0111]
On the other hand, when the next image is not selected, the registration folder is designated or the mode is switched to another mode (step S70).
[0112]
Note that the above-described image processing program can be recorded on a computer-readable recording medium and read and executed by another computer, thereby causing the other computer to function similarly. .
[0113]
Furthermore, in the above description, the image processing apparatus is configured by operating the image processing program on a general-purpose PC connected to the digital camera. However, the present invention is not limited to this, and is similar to a computer on which the image processing program operates. A dedicated image processing apparatus that implements the above functions by hardware may be configured.
[0114]
According to such an embodiment, when selecting several images from a large number of images, it is possible to classify the images into categories and select from the group of images in the classified categories. Therefore, a desired image can be selected with a simple operation.
[0115]
Furthermore, since the operation of classifying images into categories is performed on a PC on which an image processing program that functions as an image processing apparatus is executed, images that have not been previously classified in a digital camera or the like are also processed. This has the advantage of high versatility.
[0116]
Moreover, as a classification check box for classifying the category, for example, by using a color-coded check box, the user can determine what classification each color is used for, and use it corresponding to various purposes. It becomes possible.
[0117]
It should be noted that the present invention is not limited to the above-described embodiments, and various modifications and applications can be made without departing from the spirit of the invention.
[0118]
【The invention's effect】
As described above, the present invention Painting According to the image processing method, for example, when exposing a plurality of substantially the same shooting scenes by changing the exposure, which exposure state is selected, and when there are a plurality of similar cuts, which one of them is selected In the case of selecting an image, a desired image can be selected from a large number of images with a simple operation.
[Brief description of the drawings]
FIG. 1 is a state transition diagram illustrating a state transition when an image is selected in an embodiment of the present invention.
FIG. 2 is a block diagram showing an outline of the configuration of a PC in the embodiment.
FIG. 3 is a flowchart showing an operation mainly performed by the classification unit of the embodiment.
FIG. 4 is a flowchart showing an operation mainly performed by the narrowing-down display unit of the embodiment.
FIG. 5 is a flowchart showing an operation in a browse mode mainly performed by the comparison / selection unit of the embodiment.
FIG. 6 is a flowchart showing an operation in view mode or full screen display mainly performed by the comparison / selection unit of the embodiment.
FIG. 7 is a flowchart showing an operation in a VLB mode mainly performed by the comparison / selection unit of the embodiment.
FIG. 8 is a view showing an example of a screen display when a collection area is reduced and displayed in the browse mode of the embodiment.
FIG. 9 is a diagram showing an example of a screen display when a collection area is normally displayed in the browse mode of the embodiment.
FIG. 10 is a diagram showing an example of a screen display in the view mode of the embodiment.
FIG. 11 is a diagram showing an example of vertically divided display in the VLB mode of the embodiment.
FIG. 12 is a diagram showing an example of quadrant display in the VLB mode of the embodiment.
[Explanation of symbols]
1 ... Digital camera
2. Personal computer (PC)
3 ... Media card
11. Control device (storage control means)
12 ... Mouse
13 ... Keyboard
14 ... Main memory
15 ... Secondary storage device (recording medium)
15a ... folder
16 ... Display device
17. Image reading / writing means (storage control means)
18 ... Classification means
19: Filter display means
20. Comparison selection means (selection means)
21 ... Printing device
30 ... Classification check box (classification means)
36 ... Browse area (display means, browse display means)
38, 38A, 38B ... Collection area (selection means)
38c ... Save button
39 ... Classification checkmark tool box (specifying means)
39a ... Check box
39b ... Check box (ALL)
41 ... Thumbnail area
42 ... view area (display means, view display means)
43 ... Comparison button
44 ... Fit button
45 ... Same size button
46 ... Reduce button
47 ... Zoom button
48 ... Move pointer setting button
49 ... Normal pointer setting button
51... Comparison area (display means, comparison display means)
52 ... Add check box
53 ... Add at once check box
54 ... Interlocking check box
55 ... Pushpin button
55a ... thumbtack mark
56 ... Add image button
57 ... Display mode switching button

Claims (1)

プログラムされたコンピュータによって制御される画像処理装置における画像処理方法において、
画像処理装置が、複数の画像を表示するステップと、
画像処理装置が、上記複数の画像を複数のカテゴリに分類するステップと、
画像処理装置が、ユーザー操作に応答して上記複数のカテゴリの中から1以上のカテゴリを指定するステップと、
画像処理装置が、上記指定された1以上のカテゴリの何れかに属する画像の縮小画像を表示するステップと、
画像処理装置が、ユーザー操作に応答して上記表示された縮小画像の中から複数の画像を選択するステップと、
画像処理装置が、上記選択された複数の画像を比較領域に表示するステップと、
画像処理装置が、上記比較領域に表示された上記複数の画像に対して、縮小、拡大、又は移動のうちの少なくとも1つの画像処理を行うステップと、
画像処理装置が、ユーザー操作に応答して上記比較領域に表示された上記複数の画像の中から画像を選択するステップと、
を含むことを特徴とする画像処理方法。
In an image processing method in an image processing apparatus controlled by a programmed computer,
An image processing device displaying a plurality of images;
An image processing device classifying the plurality of images into a plurality of categories;
An image processing apparatus designating one or more categories from the plurality of categories in response to a user operation;
An image processing apparatus displaying a reduced image of an image belonging to one of the specified one or more categories;
An image processing device selecting a plurality of images from the displayed reduced images in response to a user operation;
The image processing apparatus, comprising: displaying a plurality of images the selected ratio較領zone,
An image processing device performing at least one image processing of reduction, enlargement, or movement on the plurality of images displayed in the comparison area;
An image processing device selecting an image from the plurality of images displayed in the comparison area in response to a user operation;
An image processing method comprising:
JP2003000615A 2003-01-06 2003-01-06 Image processing method Expired - Lifetime JP4270882B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003000615A JP4270882B2 (en) 2003-01-06 2003-01-06 Image processing method
US10/725,791 US20040175764A1 (en) 2003-01-06 2003-12-02 Image processing apparatus, image processing program, recording medium, and image processing method
CN 200410001626 CN1241108C (en) 2003-01-06 2004-01-06 Image processing device, image processing program, recordng medium and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003000615A JP4270882B2 (en) 2003-01-06 2003-01-06 Image processing method

Publications (2)

Publication Number Publication Date
JP2004213428A JP2004213428A (en) 2004-07-29
JP4270882B2 true JP4270882B2 (en) 2009-06-03

Family

ID=32818864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003000615A Expired - Lifetime JP4270882B2 (en) 2003-01-06 2003-01-06 Image processing method

Country Status (2)

Country Link
JP (1) JP4270882B2 (en)
CN (1) CN1241108C (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783115B2 (en) 2004-12-14 2010-08-24 Fujifilm Corporation Apparatus and method for setting degrees of importance, apparatus and method for representative image selection, apparatus and method for printing-recommended image selection, and programs therefor
JP5428130B2 (en) * 2007-02-05 2014-02-26 ソニー株式会社 Information processing apparatus, image display apparatus, information processing apparatus control method, and program
US8762882B2 (en) 2007-02-05 2014-06-24 Sony Corporation Information processing apparatus, control method for use therein, and computer program
JP5436039B2 (en) * 2009-05-14 2014-03-05 キヤノン株式会社 Image processing apparatus, control method therefor, and program
CN111459387A (en) * 2020-04-09 2020-07-28 上海尊溢商务信息咨询有限公司 Interaction method for frame selection and dragging type picture classification

Also Published As

Publication number Publication date
JP2004213428A (en) 2004-07-29
CN1517853A (en) 2004-08-04
CN1241108C (en) 2006-02-08

Similar Documents

Publication Publication Date Title
US20040175764A1 (en) Image processing apparatus, image processing program, recording medium, and image processing method
US7725837B2 (en) Digital image browser
US6590608B2 (en) Method and apparatus for managing a plurality of images by classifying them into groups
US9336443B2 (en) Method and apparatus for organizing digital media based on face recognition
RU2459279C1 (en) Device to control content and method to control content
KR101076891B1 (en) 3 graphical user interface for 3-dimensional view of a data collection based on an attribute of the data
JP5136819B2 (en) Image classification apparatus, image classification method, and program
US11256904B2 (en) Image candidate determination apparatus, image candidate determination method, program for controlling image candidate determination apparatus, and recording medium storing program
US8184130B2 (en) Method and apparatus for image acquisition, organization, manipulation, and publication
US6538698B1 (en) Method and system for sorting images in an image capture unit to ease browsing access
US7542994B2 (en) Graphical user interface for rapid image categorization
US8558920B2 (en) Image display apparatus and image display method for displaying thumbnails in variable sizes according to importance degrees of keywords
EP1645950A1 (en) Auto stacking of time related images
JP2005276178A (en) Rapid visual sorting for digital file and data
JPH10301938A (en) Image processor, method therefor, image processing system and storage medium
JP2004215041A (en) Image processor, image processing program, recording medium, and image processing method
JP2006135590A (en) Digital camera and computer program
JP4175900B2 (en) Image processing apparatus, image processing program, recording medium, and image processing method
JP2004120420A (en) Image adjusting device and program
EP1755051A1 (en) Method and apparatus for accessing data using a symbolic representation space
US7675553B2 (en) Image transfer apparatus, control method, program, and storage medium
JP2002185908A (en) Computer-readable recording medium recording image extract program, image extract device and image extract method
JP2004297176A (en) Image display method and apparatus
JP2009217828A (en) Image retrieval device
JP2002342743A (en) Picture processor and picture processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4270882

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140306

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term