JP2006236303A - 画像処理装置およびその方法ならびに画像処理プログラム - Google Patents

画像処理装置およびその方法ならびに画像処理プログラム Download PDF

Info

Publication number
JP2006236303A
JP2006236303A JP2005155449A JP2005155449A JP2006236303A JP 2006236303 A JP2006236303 A JP 2006236303A JP 2005155449 A JP2005155449 A JP 2005155449A JP 2005155449 A JP2005155449 A JP 2005155449A JP 2006236303 A JP2006236303 A JP 2006236303A
Authority
JP
Japan
Prior art keywords
image processing
image
image data
new
red
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005155449A
Other languages
English (en)
Other versions
JP4801933B2 (ja
Inventor
Masahiko Sugimoto
雅彦 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2005155449A priority Critical patent/JP4801933B2/ja
Publication of JP2006236303A publication Critical patent/JP2006236303A/ja
Application granted granted Critical
Publication of JP4801933B2 publication Critical patent/JP4801933B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【目的】 必要な場合に,より最新の赤目画像修正処理を行う。
【構成】 メモリ・カード11に記録されている画像ファイルに格納されている画像データについて赤目画像修正処理が行われていた場合には,どのバージョンの処理が行われているかが画像ファイルに記録されている。メモリ・カード11に記録されている画像ファイルに格納されている画像データについて行われている赤目画像修正処理よりも新しいバージョンでの赤目画像修正処理がディジタル・スチル・カメラにおいて実行できる場合には,赤目画像修正処理がディジタル・スチル・カメラの修正処理回路9において行われる。新しいバージョンでの赤目画像修正処理がディジタル・スチル・カメラにおいて行うことができない場合には,赤目画像修正処理は行われない。
【選択図】 図1

Description

この発明は,画像処理装置およびその方法ならびに画像処理プログラムに関する。
人物をストロボ撮影した場合には,人物像の目が赤くなってしまう,いわゆる赤目現象が起きることがある。赤目現象が起きた画像については,ストロボを使用して撮影したかどうか,撮像レンズの焦点距離などの情報を用いてその赤目の画像部分を修正するものがある(特許文献1)。
特開平5−224271号公報
また,赤目の修正を行ったかどうかを検出し,赤目の修正を行った場合には赤目の修正処理を再度行うことを禁止するものもある(特許文献2)。
特開平11−127371号公報
しかしながら,一度赤目修正処理が行われた場合であっても赤目修正処理回路(プログラム)のバージョン・アップ等が行われた場合には,一度行われた赤目修正処理よりも新しい赤目修正処理によりさらによい赤目修正を行うことができることがある。
この発明は,赤目修正に代表される画像処理においてよりよい画像処理を行うことを目的とする。
この発明は,所定の画像処理を行う画像処理手段を備えた画像処理装置において,与えられる画像データについて行われている上記所定の画像処理よりも新しい画像処理を上記画像処理手段によって行うことができるかどうかを判定する第1の判定手段,および上記第1の判定手段によって上記新しい画像処理を上記画像処理手段によって行うことができると判定されたことにより,上記与えられる画像データについて上記新しい画像処理が行われるように上記画像処理手段を制御する画像処理制御手段を備えていることを特徴とする。
この発明は,上記画像処理装置に適した方法も提供している。すなわち,この方法は,所定の画像処理を行う画像処理手段を備えた画像処理装置において,与えられる画像データについて行われている上記所定の画像処理よりも新しい画像処理(更新,改訂されている画像処理)を上記画像処理手段によって行うことができるかどうかを判定し,上記新しい画像処理を行うことができると判定されたことにより,上記与えられる画像データについて上記新しい画像処理が行われるように上記画像処理手段を制御するものである。
この発明は,上記画像処理方法を実行するためのプログラム(記録媒体に格納されていてもよい)も提供している。
この発明によると,画像処理装置には,所定の画像処理を行う画像処理手段が設けられている。画像データが与えられると,その画像データについて行われている所定の画像処理よりも新しい画像処理を画像処理手段において行うことができるかどうかが判定され(画像処理が行われていない場合には,新しい画像処理をできると判定される),新しい画像処理を行うことができると判定されると,与えられる画像データについて画像処理装置の画像処理手段において新しい画像処理が行われる。
すでに行われた画像処理よりも新しい(更新,改訂,バージョンアップされた)画像処理を行うことができる場合に画像処理が行われるので,よりよい画像処理を行うことができるようになる。また,画像処理装置において画像処理が行われると古い(低いバージョンでの)画像処理となってしまう場合には,その画像処理は行われない。必要な場合に画像処理が行われるようになる。
上記新しい画像処理が不要かどうかを判定する第2の判定手段,および上記第2の判定手段により新しい画像処理が不要と判定されたことに応じて,上記画像処理手段の制御処理を停止するように上記画像処理制御手段を制御する制御手段をさらに備えるようにしてもよい。高いバージョンでの画像処理が不要な場合には画像処理を停止できるようになる。
記録媒体に記録されている画像データを読み取る読取手段をさらに備えてもよい。この場合,上記第1の判定手段は,上記読取手段から読み取られた画像データについて上記判定処理を行うものとなろう。そして,上記画像処理制御手段の制御のもとに上記画像処理手段によって画像処理が行われた画像データによって表される画像を表示するように表示装置を制御する表示制御手段,記録指令の入力手段,および上記入力手段から記録指令が入力されたことに応答して上記画像処理制御手段の制御のもとに上記画像処理手段によって上記新しい画像処理が行われた画像データを上記記録媒体に記録する第1の記録制御手段をさらに備えることとなろう。
新しい画像処理が行われた画像を表示装置に表示することができ,新しい画像処理が行われた画像を確認できる。新しい画像処理後の画像が気に入れば,その新しい画像処理後の画像を表す画像データが記録媒体に記録される。新しい画像処理後の画像が気に入らなければ,新しい画像処理を行う前の画像を表す画像データを記録媒体に残しておくことができる。
上記のように,記録媒体に記録されている画像データを読み取る読取手段をさらに備え,上記第1の判定手段が,上記読取手段から読み取られた画像データについて上記判定処理を行うものである場合に,上書きモードまたは新規保存モードを選択する選択手段,上記選択手段によって上書きモードが選択されたことに応じて,上記画像処理制御手段の制御のもとに上記画像処理手段によって上記新しい画像処理が行われた画像データを,上記読取手段によって読み取られた画像データが記録されている記録領域に上書きし,上記選択手段によって新規保存モードが選択されたことに応じて,上記画像処理制御手段の制御のもとに上記画像処理手段によって上記新しい画像処理が行われた画像データを,上記記録媒体の空領域に記録する第2の記録制御手段をさらに備えるようにしてもよい。
上書きモードが選択されることにより,新しい画像処理後の画像データを,その新しい画像処理が行われる前に記録媒体に記録されている画像データに上書きすることができる。新規保存モードが選択されることにより,新しい画像処理が行われた画像データを記録媒体の空領域に記録できる。
記録媒体に記録されている画像データを読み取る読取手段をさらに備えるようにしてもよい。この場合,上記記録媒体の空領域に,上記画像処理手段によって上記新しい画像処理が行われた画像データを記録できるかどうかを判定する第3の判定手段,および上記第3の判定手段によって,上記新しい画像処理が行われた画像データを上記記録媒体の空領域に記録できると判定されたことに応じて,上記画像処理制御手段により制御される上記画像処理手段によって上記新しい画像処理が行われた画像データを上記記録媒体に記録する記録制御手段をさらに備える。そして,上記第3の判定手段によって上記新しい画像処理が行われた画像データを上記記録媒体の空領域に記録できないと判定されたことに応じて,上記画像処理制御手段による上記画像処理手段の制御を停止するものとなろう。
記録媒体の空領域に画像処理後の画像データを記録できる場合に新しい画像処理を行わせることができるようになる。
また,上記のように記録媒体に記録されている画像データを読み取る読取手段をさらに備え,上記第1の判定手段が,上記読取手段から読み取られた画像データについて上記判定処理を行うものの場合に,新規保存モードを設定する新規保存モード設定手段,上記新規保存モード設定手段により新規保存モードが設定されたことに応じて,上記記録媒体の空領域に,上記画像処理手段によって上記新しい画像処理が行われた画像データを記録できるかどうかを判定する第4の判定手段,上記第4の判定手段によって,上記新しい画像処理が行われた画像データを上記記録媒体の空領域に記録できると判定されたことに応じて,上記画像処理制御手段のもとに制御される上記画像処理手段によって上記新しい画像処理が行われた画像データを上記記録媒体に記録する第3の記録制御手段,上書きモードを設定する上書きモード設定手段,および上記第4の判定手段によって上記新しい画像処理が行われた画像データを上記記録媒体の空領域に記録できないと判定された場合に,上記上書きモード設定手段によって上書きモードが設定されたことに応じて,上記画像処理制御手段により制御される上記画像処理手段によって上記新しい画像処理が行われた画像データを,上記読取手段によって読み取られた画像データが記録されている記録領域に上書きする第4の記録制御手段をさらに備えるようにしてもよい。
新規保存モードが設定された場合には,記録媒体に空領域があれば,新しい画像処理後の画像データを記録媒体の空領域に記録できる。新規保存モードが設定された場合に,記録媒体に空領域が無ければ,上書きモードが設定されることにより,新しい画像処理が行われる画像データが記録されている記録領域に,新しい画像処理が行われた画像データが上書きされる。空領域の有無にかかわらず,新しい画像処理が行われた画像データを記録媒体に記録できるようになる。
与えられる画像データが上記所定の画像処理を行う対象のものかどうかを判定する第5の判定手段を備えるものでもよい。この場合,上記第1の判定手段が,上記第5の判定手段により,与えられる画像データが上記所定の画像処理を行うものであると判定されたことに応じて,与えられる画像データについて行われている上記所定の画像処理よりも新しい画像処理を上記画像処理手段によって行うことができるかどうかを判定するものとなろう。
画像処理対象の画像データかどうかを確認してから所定の画像処理が新しいかどうかを検出するので,画像処理対象外の画像データについてバージョンを確認してしまうことを未然に防止できる。
上記所定の画像処理は,たとえば,赤目画像修正処理である。この場合,上記第5の判定手段が,与えられる画像データによって表される画像についてのストロボ撮影情報または輝度にもとづいて,上記所定の画像処理を行うものであるかどうかを判定する。
上記第1の判定手段は,たとえば,与えられる画像データについて上記所定の画像処理がどのバージョンで行われていたかどうかを検出する画像処理検出手段を備える。この場合,上記画像処理検出手段によって検出された画像処理のバージョンよりも高いバージョンの画像処理を行うことができると判定されよう。
図1は,ディジタル・スチル・カメラの電気的構成を示すブロック図である。
この実施例によるディジタル・スチル・カメラにおいては赤目画像修正,自動階調補正,自動白バランス調整などのさまざまな画像処理を行うことができる。この実施例によるディジタル・スチル・カメラにおいては,とくに,これらの画像処理のバージョンが記憶されており,処理対象の画像について同じ画像処理が行われているかどうか,同じ画像処理が行われているとしたら,ディジタル・スチル・カメラで行うことができる画像処理のバージョンよりも低いバージョンで画像処理が行われているかどうかが検出される。低いバージョンで画像処理が行われている場合には,ディジタル・スチル・カメラにおいてより高いバージョンでの画像処理が行われる。より詳しくは,以下の説明によって明らかとなろう。
ディジタル・スチル・カメラの全体の動作は,制御回路20によって統括される。
制御回路20には,互いにバス接続されているCPU21,ROM22およびRAM23が含まれている。ROM22には,ディジタル・スチル・カメラにおいて行われる画像処理の処理内容(処理名),その画像処理のバージョン,その他必要なデータ,画像処理プログラムなどが格納されている。RAM23は,一時的に必要なデータ,メモリ・カード11から読み出された画像ファイルなどを記憶するものである。
ディジタル・スチル・カメラには,シャッタ・レリーズ・ボタン,モード設定ダイアル(モード設定ダイアルにより撮像モード,再生モード,修正モードなどの各種モードを設定できる),OKボタン,キャンセル・ボタン,枠ボタン,前ボタン,後ボタンなどを含む操作器13が含まれている。操作器13から出力される操作信号は,制御回路20に入力する。また,ディジタル・スチル・カメラには,パーソナル・コンピュータを接続することができる。このために外部インターフェイス12がディジタル・スチル・カメラに設けられている。
ディジタル・スチル・カメラには,被写体を撮像するための撮像レンズ1,絞り2およびCCDなどの撮像素子3が含まれている。レンズ駆動回路16によって撮像レンズ1のレンズ位置が制御される。また,絞り駆動回路17によって絞り2の開口が制御される。撮像レンズ1によって被写体像を表す光線が集光され,絞り2を通ってCCDのような撮像素子3に入射する。撮像素子制御回路18によって制御される撮像素子3の受光面上に被写体像を表す光像が結像する。これらのレンズ駆動回路16,絞り駆動回路17および撮像素子制御回路18は,撮像系制御回路24によって制御される。
モード設定ダイアル20によって撮像モードが設定されると,撮像素子制御回路18によって撮像素子3が制御され,被写体像を表す映像信号が撮像素子3から出力される。映像信号は,アナログ信号処理回路4において相関二重サンプリング等のアナログ信号処理が行われる。アナログ信号処理回路4から出力された映像信号は,アナログ/ディジタル変換回路4においてディジタル画像データに変換され,ディジタル信号処理回路6に入力する。ディジタル信号処理回路6において,ガンマ補正,自動階調補正,自動白バランス調整などのディジタル信号処理が行われる。
ディジタル信号処理回路6から出力された画像データは,メモリ7を介して表示装置15に与えられる。表示装置15の表示画面上に被写体像が表示される。
シャッタ・レリーズ・ボタンが押されると,上述したのと同様に,被写体が再び撮像され,被写体像を表す画像データが得られる。画像データは,ディジタル信号処理回路6からメモリ7に与えられ,一時的に記憶される。画像データは,メモリ7から読み出され,記録/読出制御回路14によって外部メモリ・インターフェイス10に接続されているメモリ・カード9に記録される。必要に応じて画像データに対してデータ圧縮が行われ,圧縮された画像データがメモリ・カード11に記録されるのはいうまでもない。
モード設定ダイアルによって再生モードが設定されると,記録/読出制御回路14によってメモリ・カード9から被写体像を表す画像データが読み出される。読み出された画像データは,メモリ7に与えられ,一時的に記憶される。画像データは,メモリ7から読み出され,表示装置15に与えられる。表示装置15の表示画面上にメモリ・カード11に記録されている画像データによって表される画像が表示される。
モード設定ダイアルによって修正モードが設定されると,この実施例においては,赤目画像の修正が行われる(もちろん,顔画像検出その他の画像処理が行われるようにしてもよい)。メモリ・カード11から画像データ(画像ファイル)が読み出されると,その画像データが赤目画像修正処理が行われたかどうか,赤目画像修正処理が行われている場合にはどのバージョンでの赤目画像修正処理が行われたかどうかが検出処理回路8によって検出される。
検出された赤目画像修正処理のバージョンとディジタル・スチル・カメラにおける赤目画像修正処理のバージョンとが比較され,ディジタル・スチル・カメラにおける赤目画像修正処理のバージョンの方がメモリ・カード11から読み出された画像データにおいて行われている赤目画像修正処理のバージョンよりも高ければ,ディジタル・スチル・カメラの修正処理回路9において赤目画像修正処理(新しい画像処理)が行われる。逆にディジタル・スチル・カメラにおける赤目画像修正処理のバージョンの方がメモリ・カード11から読み出された画像データにおいて行われている赤目画像修正処理のバージョンよりも低ければ,ディジタル・スチル・カメラの修正処理回路9における赤目画像修正処理は行われない。
赤目画像修正処理が行われた画像データは,表示装置15に与えられ,表示画面に表示される。
図2は,メモリ・カード11のデータ構造の一例である。
メモリ・カード11には,ヘッダ領域と画像データ記録領域とが含まれている。
画像データ記録領域には,上述したように画像データが記録されている。ヘッダ領域には,メモリ・カード11全体についての管理情報のほかに画像データ記録領域に記録される画像データのパス,画像データ記録領域の空容量(残容量)を示すデータなどが格納されている。
図3は,メモリ・カード11に記録されている画像ファイルのファイル構造(データ構造)の一例である。
画像ファイルには,ヘッダ記録領域と画像データ記録領域とが含まれている。
画像データ記録領域には,画像データが格納されている。
ヘッダ記録領域には,画像ファイル全体を管理等するためのデータが格納されている。ヘッダ記録領域には,管理情報,修正プロテクト,撮影情報,検出処理名,修正処理名などのデータが格納される。
管理情報は,画像ファイル全体を管理するための情報である。上述したように,バージョンに応じてメモリ・カード11に記録されている画像データ(画像ファイル)についての赤目画像修正が行われる場合と行われない場合とがあるが,バージョンにかかわらず赤目画像修正を禁止する旨を設定するものが修正プロテクトである。修正プロテクトがオンであれば赤目画像修正は禁止され,修正プロテクトがオフであればバージョンに応じて赤目画像修正が行われる,あるいは行われない。修正プロテクトの初期値(赤目画像修正が一度も行われていない場合)は,オフに設定されている。撮影情報は,画像データ記録領域に記録されている画像データが得られた時の撮影情報を示すものである。ストロボを発光させて得られた画像かどうかを示すストロボ・オン/オフ,画像データによって表される画像の被写体輝度,絞り(値),シャッタ・スピード,ISO感度などが撮影情報に含まれる。
検出処理名は,画像データ記録領域に記録されている画像データについて行われた検出処理の名称およびその検出処理のバージョンが格納されている。複数種類の検出処理(赤目画像検出処理,顔画像検出処理など)が行われている場合には,それぞれの検出処理名が格納される。同一種類の検出処理が複数回行われている場合には,その複数回の検出処理の履歴が格納されるようにしてもよい。修正処理名は,画像データ記録領域に記録されている画像データについて行われた検出処理の名称およびその検出処理のバージョンが格納されている複数種類の修正処理(赤目画像修正処理,自動階調補正処理,自動白バランス調整処理など)が行われている場合には,それぞれの修正処理名が格納される。同一種類の修正処理が複数回行われている場合には,その複数回の修正処理の履歴が格納されるようにしてもよい。検出処理または修正処理が一度も行われていない場合には,空欄となる。
図4および図5は,赤目画像修正処理の処理手順を示すフローチャートである。
メモリ・カード11から所望の画像ファイルが読み出され,ディジタル・スチル・カメラのRAM23に一時的に記憶される。RAM23に記憶された画像ファイルのヘッダ記録領域から修正プロテクトが読み出され,修正プロテクトがオン(赤目画像修正の禁止)とされているかどうかが確認される。修正プロテクトがオンとされていると(ステップ31でYES31),その画像ファイルに格納されている画像データによって表される画像については赤目画像修正は不要と考えられているので,その後の赤目画像修正処理はスキップされる。修正プロテクトがオフとされていると(ステップ31でNO),これから行われる赤目画像修正処理によって得られる画像ファイルを,その赤目画像修正処理が行われる前の画像ファイルに上書きする上書きモード(このモードは,表示装置15の表示画面に各種設定メニューを表示させ,その各種設定メニューを用いてあらかじめ設定されている)が設定されているか,あるいは,メモリ・カードの空領域に赤目画像修正処理後の画像を表す画像データを記録する新規保存モードが設定されているかどうかが確認される(ステップ32)。もっとも,新規保存モードの設定ができない場合であっても,上書きモードが設定されていないことに応じて新規保存モードが設定されていると見なすようにしてもよい。
新規保存モードが設定されている場合には,(ステップ32),メモリ・カード11に十分な空容量がなければ赤目画像修正処理後の画像ファイルをメモリ・カード11に記録することができない。このために,赤目画像修正処理後の画像ファイルを記録できるほどの空容量がメモリ・カードにあるかどうかが確認される(ステップ33)。記録できるほどの空容量がない場合には(ステップ33でNO),赤目画像修正処理後の画像ファイルをメモリ・カード11に記録できるようにするために上書きモードに変更されたかどうかが確認される(ステップ34)。もちろん,メモリ・カード11に空容量が少ないために赤目画像修正処理後の画像ファイルをメモリ・カード11に記録できず,上書きモードに変更させる指示が表示装置15の表示画面に表示されるのはいうまでもない。その表示を見ることにより,ユーザは必要であれば,ディジタル・スチル・カメラを上書きモードに設定する。上書きモードに変更されない場合には(ステップ34でNO),赤目画像修正処理後の画像ファイルをメモリ・カード11に記録できないので,赤目画像修正処理はスキップされる。
これから行われる赤目画像修正処理によって得られた画像ファイルを,その赤目画像修正処理が行われる前の画像ファイルに上書きするモードに設定されている(ステップ32または34でYES)あるいは,赤目画像修正処理後の画像ファイルを記録できるほどメモリ・カード11に空容量がある(ステップ33でYES)場合には,RAM23に記憶されている画像ファイルのヘッダ情報に記録されている撮影情報が読み取られる。読み取られた撮影情報にもとづいて,その画像ファイルに格納されている画像データが赤目画像修正処理を行うべき画像データかどうかが判定される(ステップ35)。たとえば,ストロボ・オンであり,かつ被写体輝度が低い場合には,赤目画像修正処理を行うと判定される。ストロボ・オンであっても被写体輝度が高い場合には,赤目画像修正処理は行わないと判定される。撮影情報に記憶されている被写体輝度は,BV値が記憶されていれば,そのBV値を用いることができるし,絞り(AV値),シャッタ・スピード(TV値),ISO感度(SV値)などから算出することもできる(露出量EV値=AV値+TV値=BV値+SV値)。赤目画像修正処理が行われないと判定されると(ステップ35でNO),その後の赤目画像修正処理はスキップされる。
赤目画像修正処理をすべきと判定されると(ステップ35でYES),画像ファイルのヘッダ記録領域に記録されている赤目検出処理(検出処理名)のバージョンおよび赤目画像修正処理(修正処理名)のバージョンとディジタル・スチル・カメラの赤目検出処理回路8において行われる赤目検出処理のバージョンおよび赤目画像修正処理回路9において行われる赤目画像修正処理のバージョン(ROM22に記憶されている)とが比較される。
画像ファイルに記憶されているバージョンよりもディジタル・スチル・カメラのROM22に記憶されているバージョンの方が低ければ,ディジタル・スチル・カメラにおいて行うことができる赤目画像修正処理よりも新しい赤目画像修正処理がすでに行われているものと考えられる(ステップ36でYES)。すでに行われている赤目画像修正処理よりもよりよい赤目画像修正処理をディジタル・スチル・カメラにおいて実行することはできないと考えられるので,ディジタル・スチル・カメラにおける赤目画像修正処理はスキップされる。画像ファイルに記憶されているバージョンよりもディジタル・スチル・カメラのROM22に記憶されているバージョンの方が高ければ(赤目画像検出処理または赤目画像修正処理のいずれか一方のバージョンでも高ければ),すでに行われている赤目画像修正処理よりも新しい赤目画像修正処理をディジタル・スチル・カメラにおいて行うことができると考えられる(ステップ36でNO)。すでに行われている赤目画像修正処理よりも,よりよい新しい赤目画像修正処理をディジタル・スチル・カメラにおいて実行できると考えられるので,ディジタル・スチル・カメラにおける赤目画像修正処理に移行する。
まず,画像ファイルに格納されている画像データが赤目画像検出処理回路8に与えられ,より新しい赤目画像検出処理が行われる(ステップ37)。赤目画像検出処理は,赤目画像と想定されるサンプル画像と赤目画像修正処理対象の画像とのマッチング処理などにより行うことができるが,どのような検出処理でもよいのはいうまでもない。
赤目画像検出処理回路8において赤目画像が検出されると,画像データは赤目画像修正処理回路9に与えられ,検出された赤目画像について,より最新の赤目画像修正処理が行われる(ステップ38)。赤目画像修正処理は,検出された赤目画像の部分について色補正,輝度補正などを行うことにより実現できるが,どのような修正処理でもよい。
赤目画像修正処理により得られた画像データは,メモリ7に与えられ,一時的に記憶される。メモリ7から赤目画像修正処理後の画像データが読み取られ,表示装置15に与えられることにより,表示装置15の表示画面上赤目画像が修正された画像が表示される(ステップ39)。メモリ7に記憶されている画像データが読み出され,RAM23に記憶されている画像ファイルの画像データ記録領域に上書きされる。
表示された画像を見て,赤目画像が修正された画像をユーザが気に入らなければユーザによってキャンセル・ボタンが押される(ステップ40でNO)。赤目画像が修正された画像を表す画像データが,ユーザの気に入らないにもかかわらず,新たにメモリ・カードに記録されてしまうことが回避される。すでにメモリ・カードに記録されている画像データがそのまま保存されることとなる。赤目画像が修正された画像を表す画像データをメモリ・カードに記録する場合には,ユーザによってOKボタンが押される(記録指令の入力)(ステップ40でYES)。
これ以上の赤目画像修正処理は不要とユーザが考えると,操作器13から修正プロテクトが入力される(ステップ41でYES)。入力された修正プロテクトは,RAM23に記憶されている画像ファイルに与えられ,その画像ファイルのヘッダ記録領域の修正プロテクトがオンとされる(ステップ42)。また,ディジタル・スチル・カメラの検出処理回路8のバージョンおよび修正処理回路9のバージョンも画像ファイルの検出処理名および修正処理名にそれぞれ記録されるのはいうまでもない。
赤目画像修正処理が行われた画像データが記録されている新たな画像ファイルがRAM23から読み出され,メモリ・カード11に記録される(ステップ43)。上書きモードが設定されていれば,読み出された画像ファイルが記録されている領域に新たな画像ファイルが上書きされ,上書きモードが設定されていなければ,メモリ・カード11の空領域に記録されるのはいうまでもない。
上述した実施例においては,画像処理の一例として赤目画像修正処理について取り上げたが,顔検出処理,検出された顔画像に対する自動階調補正処理などその他の検出処理および補正処理などの画像処理についても適用できるのはいうまでもない。また,上述した実施例においては,検出処理と修正処理とを別々の処理として扱っているが,これらの処理とひとまとめの処理として扱うようにしてもよい。さらに,修正プロテクトがオンにされているものを操作器13によってオフできるようにしてもよい。
さらに,上述した実施例においては,バージョンを利用してメモリ・カード11に記録されている画像データについてディジタル・スチル・カメラにおいて赤目画像検出処理および赤目画像修正処理を行うかどうかを判断しているが,メモリ・カード11に記録されている画像データについて行われている赤目画像検出処理および赤目画像修正処理よりも新しい赤目画像検出処理および赤目画像修正処理をディジタル・スチル・カメラにおいて行うことができるかどうかがわかればよい。バージョンの代わりに,たとえば,赤目画像検出処理回路8および赤目画像修正処理回路9の動作プログラムの更新日付などを利用することもできる。
図6から図8は,赤目画像が修正された画像の表示処理手順を示すフローチャート,図9から図12は,表示装置15の表示画面に表示される被写体像の様子を示している。
上述した処理においては赤目画像が修正された画像が単に表示されるのに対し(図5ステップ39),以下に示す処理においては修正された赤目画像の部分,修正すべき赤目画像の部分を枠(枠でなくともよいのはいうまでもない)でユーザに知らせるものである。どの部分が修正されたか,どの部分が修正されるかが一見してわかる。
上述のように,赤目画像の検出処理(図5ステップ37)および赤目画像修正処理(図5ステップ38)が行われると,図9に示すように,修正された赤目画像の部分が枠で囲まれた被写体像が表示装置15の表示画面上に表示される(ステップ51)。
図9を参照して,表示画面60に表示されている被写体像62は赤目が修正された部分63が含まれている。赤目が修正された部分63は,枠64によって囲まれている。赤目修正された部分63が枠64によって囲まれているので,どの部分が赤目修正されたかが一見して分かる。
表示画面60の右上には,操作ウインドウ71が表示されている。操作ウインドウ71には,「枠:枠なし」および「前:修正前」の文字が表示されている。この操作ウインドウ71から,枠64が消去された被写体像62を表示画面60に表示する場合には,枠ボタンを押せばよいこと,および赤目修正前の被写体像62を表示する場合には,前ボタンを押せばよいことがわかる。OKボタンが押されることにより,赤目画像処理が行われた被写体像62を表す画像データがメモリ・カード11に記録される。キャンセル・ボタンが押されることにより,新たに赤目画像処理が行われた被写体像62を表す画像データのメモリ・カード11への記録は行われない。
図6を参照して,赤目画像の修正処理が行われた被写体像62が表示画面60上に表示されている状態で,どのボタンが押されたかが確認される(ステップ52)。OKボタンが押されると,上述のように(図5ステップ41〜43)修正プロテクトの入力の確認,修正プロテクトのオン,赤目画像の修正後の被写体像を表す画像データのメモリ・カード11への記録処理が行われる(枠63自体の画像を表す画像データは記録されない)。
前ボタンが押されると,図10に示すように,赤目画像部分63が赤目修正される以前の被写体像62が表示画面60上に,枠63がついた状態で表示される(ステップ53)。
図10を参照して,表示画面60に表示されている被写体像62は赤目が修正されていない部分65が含まれている。赤目が修正されていない部分65は,枠64によって囲まれている。赤目画像の部分65が枠64で囲まれているので,どの部分が赤目修正されるかが一見して分かる。
赤目修正前の画像が枠つきで表示されている状態において,どのボタンが押されたかが再び確認される(ステップ54)。OKボタンが押されれば,赤目画像の修正前の被写体像で十分とユーザが判断したと考えられるので,新たな赤目修正後の画像を表す画像データはメモリ・カード11には記録されない。メモリ・カード11には,新たな赤目修正前の画像を表す画像データが残っている。後ボタンが押されれば,再び赤目修正後の画像が枠つきで表示画面60上に表示される(ステップ51)。枠ボタンが押されると,図11に示すように,赤目画像修正前の画像が枠なしで表示される(ステップ55)。
枠ボタンが押された場合には,図11に示すように,赤目画像の部分65の修正前の被写体像66が枠なしで表示画面60上に表示される(ステップ55)。表示画面60の右上には,操作ウインドウ73が表示されている。操作ウインドウ73には,「枠:枠あり」および「後:修正後」の文字が表示されている。操作ウインドウ73の文字を見ることにより,赤目画像
部分65の回りに枠を表示させる場合には,枠ボタンを押せばよいこと,赤目画像の修正後の被写体像を表示させる場合には,後ボタンを押せばよいことがわかる。
図11に示す被写体像66が表示されている場合において,何らかのボタンが押されると,どのボタンが押されたかが再び判定される(ステップ56)。OKボタンが押されると,新たな赤目修正後の被写体像を表す画像データをメモリ・カード11に記録する意思がないと考えられるので,赤目修正後の被写体像を表す画像データをメモリ・カード11に記録する処理はスキップされる。枠ボタンが押されると,赤目修正前の被写体像が枠つきで表示画面60上に再び表示される。
図11に示すように赤目修正前の被写体像66が枠なしで表示画面60上に表示されている場合において後ボタンが押されたとき,または,図9に示すように赤目修正後の被写体像62を枠64つきで表示されている場合において枠ボタンが押されたときには,図12で示すように,赤目修正後の被写体像が枠なしで表示画面60上に表示される(ステップ57)。
図12を参照して,表示画面60の右上には操作ウインドウ74が表示されている。操作ウインドウ74には,「枠:枠あり」および「前:修正前」の文字が表示されている。ユーザは,枠ボタンを押すことにより,修正後の赤目画像部分63の回りに枠が表示されること,修正前ボタンを押すことにより,赤目修正前の被写体像が表示画面60に表示されることがわかる。
どのボタンが押されたかが再び判断される(ステップ58)。OKボタンが押された場合には,赤目修正後の被写体像を表す画像データをメモリ・カード11に記録する意思があるので,上述した修正プロテクトの入力等が確認される(ステップ40〜42)。修正前ボタンが押された場合には,赤目画像の修正前の被写体像が表示画面60上に表示される(ステップ55)。枠ボタンが押された場合には,赤目画像の修正後の被写体像が枠つきで表示画面60条に表示される。
図13は,他の実施例を示すもので,表示画面60に表示される被写体像の一例である。
上述した実施例においては,赤目画像を修正した被写体像と赤目画像の修正前の被写体像とは同時に同一画面上には表示されないが,次に示す実施例においては,赤目画像の修正前の被写体像と赤目画像の修正後の被写体像とが同時に同一の表示画面上に表示されるものである。
表示装置15の表示画面60には,右側に修正画像表示領域92が規定されている。表示画面60において,修正画像表示領域92を除く領域に,赤目画像91の修正前の被写体像92の全体が表示されている。
修正画像表示領域92には,赤目画像が修正された画像部分94を含む被写体像の一部分の画像93が表示されている。この被写体像の一部分の画像93は,赤目画像91の検出処理により得られる赤目画像94の部分をほぼ中心と考え,その回りの画像部分と考えることができる。
赤目画像91の修正前の被写体像90と赤目画像91の修正後の部分94とを同時に表示画面60上に表示できるので,赤目画像の修正前後を比較しやすくなる。
表示画面60上に修正画像表示領域92を生成するためには,ディジタル・スチル・カメラのディジタル信号処理回路6において行うことが可能な画像合成処理を利用すればよいのはいうまでもない。
図14は,さらに他の実施例を示すもので,表示画面60に表示される被写体像の一例である。
表示画面60は,左右のほぼ同じ大きさの第1の表示領域101と第2の表示領域104とが規定されている。
第1の表示領域101には,赤目画像103が修正される前の被写体像102が表示されている。第2の表示領域104には,赤目画像が修正された画像部分106を有する被写体像105が表示されている。
このようにしても赤目画像の修正前後の被写体像102と105とを同一表示画面60に同時に表示でき,赤目画像の修正前後の被写体像102と105とを直接比較できる。
このような表示方法もディジタル・スチル・カメラのディジタル信号処理回路6における画像合成処理を利用することにより実現できる。
ディジタル・スチル・カメラの電気的構成を示すブロック図である。 メモリ・カードの構造を示している。 画像ファイルの構造を示している。 赤目画像修正処理手順を示すフローチャートである。 赤目画像修正処理手順を示すフローチャートである。 赤目画像が修正された被写体像を表示する処理手順を示すフローチャートである。 赤目画像が修正された被写体像を表示する処理手順を示すフローチャートである。 赤目画像が修正された被写体像を表示する処理手順を示すフローチャートである。 表示画面上に表示される被写体像の一例である。 表示画面上に表示される被写体像の一例である。 表示画面上に表示される被写体像の一例である。 表示画面上に表示される被写体像の一例である。 表示画面上に表示される被写体像の一例である。 表示画面上に表示される被写体像の一例である。
符号の説明
6 ディジタル信号処理回路
8 赤目画像検出処理回路
9 赤目画像修正処理回路
11 メモリ・カード
13 操作器
14 記録/読出回路
20 制御回路
21 CPU
22 ROM
23 RAM

Claims (11)

  1. 所定の画像処理を行う画像処理手段を備えた画像処理装置において,
    与えられる画像データについて行われている上記所定の画像処理よりも新しい画像処理を上記画像処理手段によって行うことができるかどうかを判定する第1の判定手段,および
    上記第1の判定手段によって上記新しい画像処理を上記画像処理手段によって行うことができると判定されたことにより,上記与えられる画像データについて上記新しい画像処理が行われるように上記画像処理手段を制御する画像処理制御手段,
    を備えた画像処理装置。
  2. 上記新しい画像処理が不要かどうかを判定する第2の判定手段,および
    上記第2の判定手段により新しい画像処理が不要と判定されたことに応じて,上記画像処理手段の制御処理を停止するように上記画像処理制御手段を制御する制御手段,
    をさらに備えた請求項1に記載の画像処理装置。
  3. 記録媒体に記録されている画像データを読み取る読取手段をさらに備え,
    上記第1の判定手段は,上記読取手段から読み取られた画像データについて上記判定処理を行うものであり,
    上記画像処理制御手段の制御のもとに上記画像処理手段によって画像処理が行われた画像データによって表される画像を表示するように表示装置を制御する表示制御手段,
    記録指令の入力手段,および
    上記入力手段から記録指令が入力されたことに応答して上記画像処理制御手段の制御のもとに上記画像処理手段によって上記新しい画像処理が行われた画像データを上記記録媒体に記録する第1の記録制御手段,
    をさらに備えた請求項1に記載の画像処理装置。
  4. 記録媒体に記録されている画像データを読み取る読取手段をさらに備え,
    上記第1の判定手段は,上記読取手段から読み取られた画像データについて上記判定処理を行うものであり,
    上書きモードまたは新規保存モードを選択する選択手段,
    上記選択手段によって上書きモードが選択されたことに応じて,上記画像処理制御手段の制御のもとに上記画像処理手段によって上記新しい画像処理が行われた画像データを,上記読取手段によって読み取られた画像データが記録されている記録領域に上書きし,上記選択手段によって新規保存モードが選択されたことに応じて,上記画像処理制御手段の制御のもとに上記画像処理手段によって上記新しい画像処理が行われた画像データを,上記記録媒体の空領域に記録する第2の記録制御手段,
    をさらに備えた請求項1に記載の画像処理装置。
  5. 記録媒体に記録されている画像データを読み取る読取手段をさらに備え,
    上記記録媒体の空領域に,上記画像処理手段によって上記新しい画像処理が行われた画像データを記録できるかどうかを判定する第3の判定手段,および
    上記第3の判定手段によって,上記新しい画像処理が行われた画像データを上記記録媒体の空領域に記録できると判定されたことに応じて,上記画像処理制御手段により制御される上記画像処理手段によって上記新しい画像処理が行われた画像データを上記記録媒体に記録する記録制御手段をさらに備え,
    上記第3の判定手段によって上記新しい画像処理が行われた画像データを上記記録媒体の空領域に記録できないと判定されたことに応じて,上記画像処理制御手段による上記画像処理手段の制御を停止するものである,
    請求項1に記載の画像処理装置。
  6. 記録媒体に記録されている画像データを読み取る読取手段をさらに備え,
    上記第1の判定手段は,上記読取手段から読み取られた画像データについて上記判定処理を行うものであり,
    新規保存モードを設定する新規保存モード設定手段,
    上記新規保存モード設定手段により新規保存モードが設定されたことに応じて,上記記録媒体の空領域に,上記画像処理手段によって上記新しい画像処理が行われた画像データを記録できるかどうかを判定する第4の判定手段,および
    上記第4の判定手段によって,上記新しい画像処理が行われた画像データを上記記録媒体の空領域に記録できると判定されたことに応じて,上記画像処理制御手段のもとに制御される上記画像処理手段によって上記新しい所定の画像処理が行われた画像データを上記記録媒体に記録する第3の記録制御手段,
    上書きモードを設定する上書きモード設定手段,および
    上記第4の判定手段によって上記新しい画像処理が行われた画像データを上記記録媒体の空領域に記録できないと判定された場合に,上記上書きモード設定手段によって上書きモードが設定されたことに応じて,上記画像処理制御手段により制御される上記画像処理手段によって上記新しい画像処理が行われた画像データを,上記読取手段によって読み取られた画像データが記録されている記録領域に上書きする第4の記録制御手段,
    をさらに備えた請求項1に記載の画像処理装置。
  7. 与えられる画像データが上記新しい画像処理を行う対象のものかどうかを判定する第5の判定手段を備え,
    上記第1の判定手段が,上記第5の判定手段により,与えられる画像データが上記所定の画像処理を行うものであると判定されたことに応じて,与えられる画像データについて行われている上記所定の画像処理よりも新しい画像処理を上記画像処理手段によって行うことができるかどうかを判定するものである,
    請求項1に記載の画像処理装置。
  8. 上記所定の画像処理が赤目画像修正処理であり,
    上記第5の判定手段が,与えられる画像データによって表される画像についてのストロボ撮影情報または輝度にもとづいて,上記新しい画像処理を行うものであるかどうかを判定するものである,
    請求項7に記載の画像処理装置。
  9. 上記第1の判定手段が,
    与えられる画像データについて上記所定の画像処理がどのバージョンで行われていたかどうかを検出する画像処理検出手段を備え,
    上記画像処理検出手段によって検出された画像処理のバージョンよりも高いバージョンの画像処理を行うことができると判定されることにより上記新しい画像処理を行うことができると判定されるものである,
    請求項1に記載の画像処理装置。
  10. 所定の画像処理を行う画像処理手段を備えた画像処理装置において,
    与えられる画像データについて行われている上記所定の画像処理よりも新しい画像処理を上記画像処理手段によって行うことができるかどうかを判定し,
    上記新しい画像処理を行うことができると判定されたことにより,上記与えられる画像データについて上記新しい画像処理が行われるように上記画像処理手段を制御する,
    画像処理方法。
  11. 所定の画像処理を行う画像処理手段を備えた画像処理装置を制御するプログラムであり,
    与えられる画像データについて上記所定の画像処理よりも新しい画像処理を上記画像処理手段によって行うことができるかどうかを判定させ,
    上記新しい画像処理を行うことができると判定されたことにより,上記与えられる画像データについて上記新しい画像処理が行われるように上記画像処理手段を制御する画像処理プログラム。

JP2005155449A 2004-06-14 2005-05-27 画像処理装置およびその方法ならびに画像処理プログラム Expired - Fee Related JP4801933B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005155449A JP4801933B2 (ja) 2004-06-14 2005-05-27 画像処理装置およびその方法ならびに画像処理プログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2004174879 2004-06-14
JP2004174879 2004-06-14
JP2005020508 2005-01-28
JP2005020508 2005-01-28
JP2005155449A JP4801933B2 (ja) 2004-06-14 2005-05-27 画像処理装置およびその方法ならびに画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2006236303A true JP2006236303A (ja) 2006-09-07
JP4801933B2 JP4801933B2 (ja) 2011-10-26

Family

ID=37043838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005155449A Expired - Fee Related JP4801933B2 (ja) 2004-06-14 2005-05-27 画像処理装置およびその方法ならびに画像処理プログラム

Country Status (1)

Country Link
JP (1) JP4801933B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008282278A (ja) * 2007-05-11 2008-11-20 Canon Inc 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2009182945A (ja) * 2008-02-01 2009-08-13 Canon Inc 画像処理装置、その制御方法及びプログラム
JP2009213044A (ja) * 2008-03-06 2009-09-17 Sanyo Electric Co Ltd 撮像装置
JP2013062860A (ja) * 2008-01-30 2013-04-04 Digitaloptics Corp Europe Ltd 視線測定のための方法及び装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05224271A (ja) * 1992-02-13 1993-09-03 Ricoh Co Ltd 画像処理装置
JPH11127371A (ja) * 1997-10-20 1999-05-11 Nikon Corp 赤目修正機能付きカメラシステム
JP2000134486A (ja) * 1998-10-22 2000-05-12 Canon Inc 画像処理装置及び画像処理方法及び記憶媒体
US20020033881A1 (en) * 2000-09-20 2002-03-21 Olympus Optical Co., Ltd. Camera with digital image pickup element
JP2002207606A (ja) * 2000-10-16 2002-07-26 Ricoh Co Ltd 画像処理装置、そのプログラム実装方法およびその方法を記憶した記憶媒体
US20020136450A1 (en) * 2001-02-13 2002-09-26 Tong-Xian Chen Red-eye detection based on red region detection with eye confirmation
JP2003108416A (ja) * 2001-09-27 2003-04-11 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2003205660A (ja) * 2001-10-12 2003-07-22 Eastman Kodak Co デジタル画像を印刷および/または表示するための方法および装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05224271A (ja) * 1992-02-13 1993-09-03 Ricoh Co Ltd 画像処理装置
JPH11127371A (ja) * 1997-10-20 1999-05-11 Nikon Corp 赤目修正機能付きカメラシステム
JP2000134486A (ja) * 1998-10-22 2000-05-12 Canon Inc 画像処理装置及び画像処理方法及び記憶媒体
US20020033881A1 (en) * 2000-09-20 2002-03-21 Olympus Optical Co., Ltd. Camera with digital image pickup element
JP2002101377A (ja) * 2000-09-20 2002-04-05 Olympus Optical Co Ltd ハイブリッドカメラ
JP2002207606A (ja) * 2000-10-16 2002-07-26 Ricoh Co Ltd 画像処理装置、そのプログラム実装方法およびその方法を記憶した記憶媒体
US20020136450A1 (en) * 2001-02-13 2002-09-26 Tong-Xian Chen Red-eye detection based on red region detection with eye confirmation
JP2003108416A (ja) * 2001-09-27 2003-04-11 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
US20030090690A1 (en) * 2001-09-27 2003-05-15 Fuji Photo Film Co., Ltd. Image processing method, image processing apparatus and program therefor
JP2003205660A (ja) * 2001-10-12 2003-07-22 Eastman Kodak Co デジタル画像を印刷および/または表示するための方法および装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008282278A (ja) * 2007-05-11 2008-11-20 Canon Inc 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2013062860A (ja) * 2008-01-30 2013-04-04 Digitaloptics Corp Europe Ltd 視線測定のための方法及び装置
JP2009182945A (ja) * 2008-02-01 2009-08-13 Canon Inc 画像処理装置、その制御方法及びプログラム
JP2009213044A (ja) * 2008-03-06 2009-09-17 Sanyo Electric Co Ltd 撮像装置

Also Published As

Publication number Publication date
JP4801933B2 (ja) 2011-10-26

Similar Documents

Publication Publication Date Title
KR100702397B1 (ko) 화상처리시스템, 그 방법 및 화상처리 프로그램을 기록한 컴퓨터판독가능한 기록매체
JP4378258B2 (ja) 画像補正装置およびその制御方法
US7843494B2 (en) Image taking apparatus and control method therefor
KR101900097B1 (ko) 이미지 캡처 방법 및 이미지 캡처 장치
JP4760742B2 (ja) デジタルカメラ、及び情報表示方法、情報表示制御プログラム
US8558936B2 (en) Imaging apparatus
US20070041030A1 (en) Photographing apparatus
JP4725453B2 (ja) デジタルカメラ及び画像処理プログラム
JP4801933B2 (ja) 画像処理装置およびその方法ならびに画像処理プログラム
JP4360318B2 (ja) デジタルスチルカメラ
US7864220B2 (en) Photographing apparatus
JP2009253669A (ja) 画像処理装置およびデジタルカメラ
JP5473201B2 (ja) 撮像装置及びその制御方法
JP4725452B2 (ja) デジタルカメラ及び画像処理プログラム
US20050057678A1 (en) Digital camera and control method for digital camera
JP2007150992A (ja) 撮影装置、撮影方法及びプログラム
JP4307061B2 (ja) 撮像装置
JP2002152557A (ja) 電子カメラ装置および画像処理装置
JP5293223B2 (ja) デジタルカメラ
JP4012471B2 (ja) デジタルカメラ
JP6604822B2 (ja) 動画処理装置
JP4769326B2 (ja) 画像表示装置およびその制御方法
JP2014110508A (ja) 撮像装置およびその制御方法
JP2007124387A (ja) 画像処理装置及び画像処理プログラム
JP2011019061A (ja) 撮像装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100708

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100728

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100820

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110808

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4801933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees