JP4045652B2 - Red-eye prevention method and digital camera - Google Patents
Red-eye prevention method and digital camera Download PDFInfo
- Publication number
- JP4045652B2 JP4045652B2 JP18823398A JP18823398A JP4045652B2 JP 4045652 B2 JP4045652 B2 JP 4045652B2 JP 18823398 A JP18823398 A JP 18823398A JP 18823398 A JP18823398 A JP 18823398A JP 4045652 B2 JP4045652 B2 JP 4045652B2
- Authority
- JP
- Japan
- Prior art keywords
- red
- eye
- recording
- image
- eye correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
【0001】
【発明の属する技術分野】
本発明はデジタルカメラに関し、特にストロボ撮影された画像に生じることのある赤目の記録防止技術に関する。
【0002】
【従来の技術】
デジタルカメラ等でストロボ撮影を行なった場合に、人や動物の瞳孔部分が赤く撮影される赤目現象が生じる場合がある。
従来の赤目防止技術として、ストロボ本発光の前に、ストロボを予備発光(プリ発光)可能に構成しプリ発光によって瞳孔を狭くさせて赤目の発生を起こりにくくする方法がある。
【0003】
【発明が解決しようとする課題】
しかし上記プリ発光で赤目現象の発生を抑制する方法は、プリ発光可能にストロボ発光部を構成する必要があるので、ストロボ発光部が機構的に大型化するという問題点があった。また、ストロボ撮影の都度プリ発光を行なう必要上、消費電力が増加し電池寿命を縮めるといった問題点もあった。また、更に、プリ発光を行なっても赤目が生じる場合があるという不具合があった。
【0004】
本発明は上記問題点や不具合等に鑑みてなされたものであり、ストロボ撮影の結果に赤目が生じている場合にそれを修正して赤目画像の撮影を防止する赤目防止方法およびデジタルカメラの提供を目的とする。
【0005】
【課題を解決するための手段】
上記の目的を達成するために、第1の発明の赤目防止方法は、撮影を指示する撮影指示工程と、この撮影指示工程により撮影が指示された場合にストロボ撮影を実行するストロボ撮影工程と、このストロボ撮影工程により得られた記録前ストロボ撮影画像を撮影直後に表示部に表示させる表示制御工程と、この表示制御工程により前記表示部に表示された記録前ストロボ撮影画像に対して赤目修正処理の実行が指示されたか否かを判断する判断工程と、この判断工程により赤目修正処理の実行が指示されたと判断された場合に前記記録前ストロボ撮影画像に対する赤目修正処理を実行する赤目修正工程と、この赤目修正工程により赤目修正処理が実行された記録前ストロボ撮影画像をメモリに記録する第1の記録制御工程と、前記判断工程により赤目修正処理の実行が指示されなかったと判断された場合に前記赤目修正処理が施されていない記録前ストロボ撮影画像をメモリに記録する第2の記録制御工程とを有し、前記表示制御工程は、前記第2の記録制御工程によりメモリに記録された記録後ストロボ撮影画像を前記表示部に表示させる工程を含み、前記判断工程は、前記表示制御工程により表示部に表示された前記記録後ストロボ撮影画像に対して赤目修正処理の実行が指示されたか否かを判断する工程を含み、前記赤目修正工程は、前記判断工程により赤目修正処理の実行が指示されたと判断された場合に前記記録後ストロボ撮影画像に対する赤目修正処理を実行する工程を含み、前記第1の記録制御工程は、前記赤目修正工程により赤目修正処理が実行された前記記録後ストロボ撮影画像を記録手段に記録する工程を含むことを特徴とする。
【0006】
第2の発明のデジタルカメラは、撮影を指示する撮影指示手段と、この撮影指示手段により撮影が指示された場合にストロボ撮影を実行するストロボ撮影手段と、このストロボ撮影手段により実行されたストロボ撮影により得られた記録前ストロボ撮影画像を撮影直後に表示手段に表示させる表示制御手段と、この表示制御手段により前記表示手段に表示された記録前ストロボ撮影画像に対して赤目修正処理の実行が指示されたか否かを判断する判断手段と、この判断手段により赤目修正処理の実行が指示されたと判断された場合に前記記録前ストロボ撮影画像に対する赤目修正処理を実行する赤目修正手段と、この赤目修正手段により赤目修正処理が実行された記録前ストロボ撮影画像を記録手段に記録する第1の記録制御手段と、前記判断手段により赤目修正処理の実行が指示されなかったと判断された場合に前記赤目修正手段による赤目修正処理が施されていない記録前ストロボ撮影画像を記録手段に記録する第2の記録制御手段とを有し、前記表示制御手段は、前記第2の記録制御手段により記録手段に記録された記録後ストロボ撮影画像を表示手段に表示させる手段を含み、前記判断手段は、前記表示制御手段により表示手段に表示された前記記録後ストロボ撮影画像に対して赤目修正処理の実行が指示されたか否かを判断する手段を含み、前記赤目修正手段は、前記判断手段により赤目修正処理の実行が指示されたと判断された場合に前記記録後ストロボ撮影画像に対する赤目修正処理を実行する手段を含み、前記第1の記録制御手段は、前記赤目修正手段により赤目修正処理が実行された前記記録後ストロボ撮影画像を記録手段に記録する手段を含むことを特徴とする。
【0007】
第3の発明のデジタルカメラは、第2の発明のデジタルカメラにおいて、前記判断手段により赤目修正処理の実行が指示されたと判断された場合に前記記録前ストロボ撮影画像又は記録後ストロボ撮影画像中に含まれる所定の色を検知することにより、赤目部分を認識する赤目認識手段をさらに有し、前記赤目修正手段は、前記赤目認識手段により認識された赤目部分を所定の色に修正する手段を含むことを特徴とする。
第4の発明のデジタルカメラは、第3の発明のデジタルカメラにおいて、前記判断手段により赤目修正処理の実行が指示されたと判断された場合に前記記録前ストロボ撮影画像又は記録後ストロボ撮影画像中の赤目を含む部分を指定して赤目認識領域を特定する赤目認識領域特定手段をさらに有し、前記赤目認識手段は、前記赤目認識領域特定手段により特定された赤目認識領域に含まれる所定の色を検知することにより、赤目部分を認識する手段を含むことを特徴とする。
【0008】
第5の発明のデジタルカメラは、第4の発明のデジタルカメラにおいて、前記赤目認識領域特定手段により特定された赤目認識領域の画像を拡大表示する拡大表示手段をさらに有することを特徴とする。
第6の発明のデジタルカメラは、第5の発明のデジタルカメラにおいて、前記赤目認識手段は、前記拡大表示手段により赤目認識領域の画像が拡大表示された後、所定の操作が行われた場合に前記赤目認識領域に含まれる所定の色を検知することにより赤目部分を認識する手段を含むことを特徴とする。
第7の発明のデジタルカメラは、第3乃至第6のいずれかの発明のデジタルカメラにおいて、前記赤目認識手段は、更に、大きさおよび又は位置を検知することにより赤目部分を認識することを特徴とする。
【0009】
第8の発明のデジタルカメラは、第7の発明のデジタルカメラにおいて、前記赤目認識手段は、更に、撮像時に得た被写体までの距離に応じて赤目と認識する大きさおよび又は位置を変更することを特徴とする。
第9の発明のデジタルカメラは、第3乃至8のいずれかの発明のデジタルカメラにおいて、前記赤目修正手段は、更に、修正する色を指定する色指定手段を含むことを特徴とする。
第10の発明のデジタルカメラは、第2乃至9のいずれかの発明のデジタルカメラにおいて、前記第1の記録制御手段は、前記赤目修正手段により赤目修正処理が実行された後、所定の操作が行われた場合に前記赤目修正処理が実行された記録前ストロボ撮影画像又は記録後ストロボ撮影画像を記録手段に記録する手段を含むことを特徴とする。
【0010】
【発明の実施の形態】
<赤目防止方法>
図1は本発明の赤目防止方法の説明図であり、(a)は被写体(人物)、(b)はストロボ撮影の結果、赤目が生じた画像、(c)は画像上の赤目領域(赤目認識対象領域)、(d)は修正結果、(e)は赤目が修正された画像を示す。
被写体1をストロボ撮影した直後、撮影結果を記録する前に画像2を表示し、使用者による確認を行ない、赤目3,3’が生じていた場合にはその部分4を使用者が指定すると、色、位置および大きさ等により赤目3,3’を自動認識して黒目5,5’に修正し、赤目3,3’を修正した画像を得て、記録する。
また、記録画像を再生して表示した場合に赤目があることを発見したときにも、赤目部分を使用者が指定することにより、赤目の位置および大きさを自動認識して黒目に修正して記録することができる。
また、赤目の指定後、認識時に赤目部分を拡大して認識しやすいようにしてもよい。また、被写体の目の色が黒色でない場合や目の色を実際の色に近づけたい場合には、赤目指定時に修正後の目の色を指定できるようにしてもよい。
【0011】
なお、実施例のフローチャート(図6)ではRECモードで赤目防止ボタン36を押して赤目防止モードに設定した場合にシャッターを押すとストロボ撮影が行なわれ撮影結果を表示するようにし、再生モードでは赤目を発見した場合に赤目防止ボタン36を押すと赤目部分をチェック可能としたが、これに限定されない。
【0012】
<回路構成例>
図2は、本発明を適用した画像処理装置の一実施例としてのデジタルカメラ(電子スチルカメラ)の回路構成例を示すブロック図であり、デジタルカメラ100は、ストロボ発光部10、光学系11、信号変換部12、信号処理部13、DRAM14、OSD用ROM15、制御部20、操作部30、表示部40、記録部50および電源90を有している。
【0013】
ストロボ発光部10は、制御部20からの発光制御信号を受取ると極めて短い時間内に所定光量を放出(発光)して被写体周辺の光量を補う。
光学系11は、撮像レンズ111と自動絞り機構112およびオートフォーカス機構113等を含み、撮像レンズ111を介して集光された被写体像の光束を後段のCCD上に結像させる。
【0014】
信号変換部12は、CCD,CCD駆動用タイミング信号生成回路,CCD駆動用垂直ドライバ,自動利得制御回路およびA/D変換器を含み、前段の光学系11を介してCCDに結像した画像を電気信号に変換し、デジタルデータ(以下、画像データ)に変換して一定の周期で出力する。
【0015】
信号処理部13は、カラープロセス回路およびDMAコントローラを有し、信号変換部12からの出力をカラープロセス処理して、デジタルの輝度、色差マルチプレクス信号(YUVデータ)とし、YUVデータをDRAM14の指定領域にDMA転送し、展開する。また、信号処理部13は記録保存の際にDRAM14に書込まれているYUVデータを読み出してJPEG圧縮処理を施す。また、記録部50を介して取り込まれた記録媒体(メモリーカード)51に保存記録されていた画像データに伸張処理を施してYUVデータを再生する。
【0016】
OSD用ROM15は画面に表示して各種処理用の指定等に用いるアイコンを格納する。
【0017】
制御部20は、CPU,プログラム格納用ROMおよびタイマ(時計)を有しており、上述の各回路および図示しない電源切換えスイッチ等にバスラインを介して接続し、プログラム格納用ROMに格納されている制御プログラムによりデジタルカメラ100全体の制御を行なうと共に、操作部30からの状態信号に対応してデジタルカメラの各機能の実行制御、例えば、プログラム格納用ROMに格納された各処理手段の実行による各機能の実現のための実行制御を行なう。
【0018】
操作部30は、処理モード切換えスイッチ、機能選択用ボタン(複数個)、メインスイッチ、赤目防止モード設定ボタン36、シャッターボタン37、およびREC/再生モード切換えスイッチ等のスイッチやボタンを構成部分とし、これらのスイッチ或いはボタンが操作されると状態信号が制御部20に送出される。
【0019】
表示部40は液晶ディスプレイ装置等の表示装置から構成されており、RECモードには被写体画像(スルー画像)が表示され、再生モード時には再生画像を表示できる。
なお、表示部40の画面上に感圧素子等を配列した透明な板からなるタッチパネルを設けて、指や入力ペン等で図形入力や範囲の指定或いはアイコン等の指定が可能なように構成してもよい。
【0020】
記録部50はメモリーカード51を収容しCPUの制御によりメモリーカード51上に信号処理部13からの画像データを記録する。また、メモリーカード51に代えてフラッシュメモリや固定ディスク等の等の書換え可能(リムーバブル)な記録媒体を用いることもできる。
【0021】
<赤目防止手段>
図3は、赤目防止手段210の構成例を示すブロック図であり、赤目防止手段210はプログラムで構成され、プログラム格納用ROMに格納されており、CPUの制御により順次実行される。
【0022】
図3で、赤目防止手段210は、赤目領域切出し手段211,赤目領域表示手段212,赤目認識手段213,赤目修正手段214および画像合成手段215を有している。
【0023】
赤目領域切出し手段211は、ストロボ撮影した画像を記録するとき或いは画像を再生したときに表示部40に表示される画像に赤目がある場合に、使用者が指定した赤目領域を切出してDRAM14の作業領域に一時記憶する。赤目領域の指定方法は使用者がカーソル移動ボタンを操作して赤目を指定したり赤目を含む範囲を指定する。また、画面上に入力用タッチパネルを設けた場合には指や入力ペンで赤目部分の指定や赤目を含む範囲の指定を行なうことができる。
【0024】
図4は指定された赤目部分と切出される領域の関係を示す説明図であり、(a)は赤目3,3’をピンポイント(点指定)した場合を示し、(b)は点指定によって画像から切出される赤目領域8を示す。また、(a)’は赤目3,3’を含む部分(ゾーン)9を指定した場合を示し、(b)’はゾーン指定によって画像から切出される赤目領域8’を示す(図4では説明上、赤目の部分のみを示したが、実際には切出される領域には鼻稜の一部や睫、眉、場合によっては眼鏡等の像や皺が含まれる)。
【0025】
点指定は赤目をそれぞれ入力ペン等のポインティングデバイスでポイントする方法であり、本実施例では切出される領域の大きさは2つの赤目の間の距離rを基に算出している(図の例では、高さ=r/2、幅=r/3+r+r/3=5r/3として計算)が、これに限定されない。
ゾーン指定は、カーソル或いは入力ペンや指で赤目を囲うようにしてその部分を指定する方法であり、この場合は赤目が1個の場合でも指定することができる。なお、本実施例では切出される赤目領域の大きさを指定したゾーンの最大高さhと最大幅wで決定しているがこれに限定されない。
【0026】
赤目領域表示手段212は、切り出された赤目領域8(8’)を認識しやすいように拡大して表示部40に表示する。この場合、また、人種や個人によって異なる瞳の色に近づけるために、赤目領域指定の後に赤目修正後の瞳の色を指定できるよう赤目領域表示手段212を構成してもよい。
【0027】
赤目認識手段213は、切出された赤目領域8(8’)に認識処理を施し、色、位置(右目と左目間の距離等)および大きさ等により赤目を認識する。即ち、赤目の認識は色、大きさ、位置が所定の条件と一致した場合に、赤目と認識するのであって、まず赤目領域内での赤画素(R)の分布を抽出する。この場合、図5のような分布を得て、顔の赤みや、暖色を構成する赤画素等を赤目部分のものと誤認識しないように分布値がある一定値α(閾値)未満の赤画素分布を切捨てた上で、赤画素の密集したグループを赤目部分を特定しているが、赤目を認識できる方法であればよく、この方法に限定されない。
【0028】
図5は赤目領域内での赤画素の分布例(赤画素値>α(αは閾値))を示す図であり、(a)は赤目が2つの場合(=通常は1人物)の赤画素の分布例、(b)は赤目が1つの場合(被写体が横や斜方向を向いていた場合(ゾーン指定による))の赤画素の分布例である。
図5で、記号Iw,Iw’は左右の赤目の幅(サイズ)である。図5ではx方向の分布のみを示したが、y方向の分布を得ることにより赤目の形状を知ることができる。
【0029】
なお、幅Iw,Iw’は左右の赤目3,3’の距離rとの比で表わすことができるが、距離rおよび幅Iw,Iw’は相対距離であり画像の上で表現すべき実際の大きさを意味しないので、赤目認識手段213は被写体1との距離Rを基に画面上で表わす距離および幅を求める(同じ倍率の場合、画角内では、同じ大きさの被写体が遠くにあれば、目(瞳)の大きさは小さく(左目と右目間の距離は狭く)、近くにあれば大きくなる(幅は広くなる)。
【0030】
また、被写体1との距離Rはオートフォーカス機構113に制御部20から与えられる制御信号(レンズ移動距離信号)を基に、合焦時の距離を得て、算出することができる。
【0031】
また、図5のような赤目の分布を求めて幅Iw,Iw’等を求める代りに、被写体1との距離と瞳の大きさを対応づけたデータか関係式(Iw=f(R)+c(cは定数)をメモリーカード51またはROMに登録しておくか、或いは赤目認識手段213に定数(または式)として組込んでおいて、オートフォーカス機構或いは手動設定により距離が決定されたときに瞳の大きさを算出するようにしてもよい。
【0032】
赤目修正手段214は、赤目認識手段213により認識され切出された赤目領域8(8’)の赤目を所定の色(本実施例では黒色)に変換する。
赤目の変換後の色は、例えば、黒色のみとしてもよいが、赤目領域表示手段212を赤目領域指定時に赤目修正後の瞳の色を指定できるように構成した場合には、赤目を指定された色に変換するように赤目修正手段214を構成することもできる。
【0033】
画像合成手段215は、元の画像に修正後の瞳領域部分(旧赤目領域部分8,8’)を貼込み合成(修正された瞳領域部分で’でDRAM14の画像バッファ上にある元の画像の赤目領域部分8,8’を書換え)して、元の画像2(図1(b))の赤目を修正した画像を得る(図1(e))。
【0034】
なお、上記実施例では、赤目防止手段210は赤目認識精度を高めるために赤目領域切出し手段211によって画像の顔の部分の一部(赤目を含むゾーン)を切出し、そのゾーン内で赤目を自動認識したが、画像全体から赤目部分を自動認識するように構成することもできる。この場合には、赤目防止手段210には赤目領域切出し手段211を備えず、被写体全体を認識対象として赤目部分を特定し、使用者による確認後、赤目修正手段214に遷移するようにする。
【0035】
図6は、ストロボ撮影時または画像再生時の赤目デジタルカメラの赤目防止動作例を示すフローチャートである。
図6で、赤目防止モード設定ボタン36が操作されると赤目防止モードになり、ストロボ撮影された画像を記録するとき、または画像再生したときに赤目防止処理を行なうことができる(S0)。
再生モードの場合にはS4に遷移し(S1)、そうでない場合(ストロボ撮影モード)の場合には使用者によるシャッターボタン37の押し下げを待つ(S2)。
上記ステップS2でシャッターボタン37が押されるとストロボ撮影が行なわれ(S3)、取込まれた画像が表示部40に表示される(S4)。
使用者が表示部40の画面上に表示されたストロボ撮影画像(または再生画像)を見て切出し用アイコン(図示せず)をポイントすると生じた赤目を修正するものとしてS6に遷移し、赤目が生じていないか、生じていても処理を後回しにしようとする場合には画面に表示される確認用(記録OK)アイコン(図示せず)をポイントするとS14に遷移する(S5)。
上記S5で切出し用アイコン(図示せず)をポイントした後、画面に指または入力ペンでタッチして赤目を直接ポイントするか、赤目部分を囲うように線を描くと赤目領域の切出しが行なわれ(S6)、表示部40に赤目領域が拡大表示される(S7)。
使用者が拡大表示された赤目領域8(8’)を見て画面上の確認アイコン(図示せず)をポイントするとS9に遷移し、やり直し確認アイコン(図示せず)をポイントするとS4に戻って再度画像(ストロボ撮影画像または再生画像)を表示する(S8)。
赤目領域8(8’)の色、位置および大きさ(相対値)から赤目を認識すると共に、オートフォーカス機構から得た合焦時のレンズ移動距離をもとにした被写体との距離から画像上での赤目の大きさを算出する(S9)。
赤目認識処理S9は、例えば、ステップS91〜S93から成る。S91では領域8(8)’に赤い部分が含まれているかを判定し、含まれていればS92に至る。被写体との距離に応じて赤目と認識する大きさは変更されるので、S92では赤い部分の大きさが一致したかを判定し、一致すると、S93に至る。S93では大きさが一致した赤い部分が2つあり、その間の距離が一致したかを判定し、一致すると赤目と判断する。これは被写体との距離に応じて赤目と認識する距離が変更されるからである。
【0036】
次に、赤目を所定の色(本実施例では黒色)に変換し、変換後の瞳領域(旧赤目領域8(8’))を表示する(S10)。
使用者が変換後の瞳領域を見て修正結果で良いとして画面に表示された確認アイコンをポイントするとS12に遷移し、修正結果が不自然であったり位置がずれているとしてやり直しアイコンを指定するとS4に戻る(S11)。
【0037】
次に、変換後の瞳領域(=旧赤目領域8(8’))を元の画像1の赤目領域8(8’)に貼込み合成し(S12)、その結果を表示して使用者による確認アイコンのポイントがあった場合にはS14に遷移し、やり直しアイコンがポイントされた場合にはS4に戻る(S13)。
上記ステップS5で赤目が生じていないか、生じていても処理を後回しにしようとする場合か、上記ステップS13で修正結果がOKの場合には画像を記録する(S14)。
【0038】
上記説明では、画像や赤目処理の確認として画面に画像と共に確認用アイコンややり直し用アイコンを表示し、それらアイコンがポイント(指定)されると対応のステップに分岐する例について説明したが、カーソル移動による指定でもよく、また、操作部30の機能ボタンの操作によってもよく、また、操作部30にキーボードを設けた場合にはキーボードから指定するようにしてもよい。
【0039】
なお、上記実施の形態では、ユーザーが画像を見て赤目修正を行なうか否かを判断するようにしたが、自動的に撮影画像中に赤目が含まれているかを判断し、修正するようにしてもよい。
【0040】
以上本発明の一実施例について説明したが、本発明は上記実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。
【0041】
【発明の効果】
第1の発明の赤目防止方法および第2の発明のデジタルカメラによれば、記録時の画像に赤目があるか否かを、画像1枚で調べて赤目のある場合にその部分を所定の色に修正できる。
【図面の簡単な説明】
【図1】本発明の赤目防止方法の説明図である。
【図2】本発明を適用した画像処理装置の一実施例としてのデジタルカメラの回路構成例を示すブロック図である。
【図3】赤目防止手段の構成例を示すブロック図である。
【図4】指定された赤目部分と切出される領域の関係を示す説明図である。
【図5】赤目領域内での赤画素の分布例を示す図である。
【図6】ストロボ撮影時または画像再生時のデジタルカメラの赤目防止動作例を示すフローチャートである。
【符号の説明】
1 被写体
2 画像
3,3’ 赤目
100 デジタルカメラ(画像処理装置)
211 赤目領域切出し手段(赤目認識領域特定手段)
212 赤目領域表示手段(赤目認識領域特定手段)
213 赤目認識手段
214 赤目修正手段
215 画像合成手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital camera , and more particularly, to a technique for preventing red-eye recording that may occur in a strobe image.
[0002]
[Prior art]
When strobe photography is performed with a digital camera or the like, a red-eye phenomenon may occur in which the pupil portion of a person or animal is photographed in red.
As a conventional red-eye prevention technique, there is a method in which the strobe is configured to be able to perform preliminary light emission (pre-light emission) before the main flash light emission, and the pupil is narrowed by pre-light emission to reduce the occurrence of red eyes.
[0003]
[Problems to be solved by the invention]
However, the method for suppressing the occurrence of the red-eye phenomenon by the pre-light emission has a problem that the strobe light-emitting portion is mechanically enlarged because it is necessary to configure the strobe light-emitting portion so that the pre-light emission is possible. In addition, there is a problem that power consumption increases and battery life is shortened because it is necessary to perform pre-flash every time the flash is photographed. Further, there is a problem that red eyes may occur even if pre-emission is performed.
[0004]
The present invention has been made in view of the above-mentioned problems and problems, and provides a red-eye prevention method and a digital camera for correcting red-eye images and preventing red-eye images from being taken when red-eye occurs as a result of flash photography. With the goal.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, the red-eye prevention method of the first invention includes a shooting instruction step for instructing shooting, and a strobe shooting step for executing strobe shooting when shooting is instructed by the shooting instruction step, A display control step for displaying the pre-recording flash image obtained in this flash shooting step on the display unit immediately after shooting , and a red-eye correction process for the pre-record flash image displayed on the display unit by this display control step A determination step for determining whether or not execution of the image is instructed, and a red-eye correction step for executing red-eye correction processing on the pre-recorded flash image when it is determined that execution of red-eye correction processing is instructed by the determination step; , pre-recording flash photography images red eye correcting process is executed by the red eye correcting process a first recording control step of recording in the memory, the decision step Ri recorded before flash photography image the red eye correcting process has not been applied when the execution of the red eye correcting processing is determined to have not been instructed and a second recording control step of recording in the memory, the display control step Includes a step of causing the display unit to display a post-recording stroboscopic image recorded in the memory by the second recording control step, and the determination step includes the post-recording displayed on the display unit by the display control step. Including a step of determining whether or not execution of red-eye correction processing is instructed for the strobe image, wherein the red-eye correction step is performed when the determination step determines that execution of red-eye correction processing is instructed. Including a step of executing a red-eye correction process for a post-strobe image, wherein the first recording control step is performed after the recording in which the red-eye correction process is performed by the red-eye correction step. Characterized in that it comprises a step of recording in flash captured image in the recording means.
[0006]
A digital camera according to a second aspect of the present invention is a photographing instruction means for instructing photographing, a flash photographing means for performing strobe photographing when photographing is instructed by the photographing instruction means, and a strobe photographing performed by the strobe photographing means. Display control means for displaying the pre-recorded strobe photographed image obtained on the display means immediately after photographing , and execution of red-eye correction processing for the pre-record strobe photographed image displayed on the display means by the display control means Determination means for determining whether or not a red-eye correction process is instructed by the determination means, and red-eye correction means for executing a red-eye correction process on the pre-recorded strobe image, and the red-eye correction a first recording control means for recording in the recording means records before flash photography images red eye correcting process is executed by means, said-format Have a second recording control means for recording the recording before flash photography images red eye correcting process by the red eye correcting means when the execution of the red eye correcting processing is determined to not instructed is not performed by means in the recording means The display control means includes means for causing the display means to display a post-recording strobe image recorded on the recording means by the second recording control means, and the determination means is displayed on the display means by the display control means. Means for determining whether or not execution of red-eye correction processing is instructed for the displayed post-recording strobe image, wherein the red-eye correction means determines that execution of red-eye correction processing is instructed by the determination means; Means for executing a red-eye correction process on the post-recording flash image when the recording is performed, and the first recording control means includes The recording after flash photography image correction process is performed, characterized in that it comprises a means for recording in the recording means.
[0007]
In the digital camera of the third invention, in the digital camera of the second invention, when it is determined that execution of red-eye correction processing is instructed by the determination means, the pre-recording flash image or the post-recording flash image is included in the digital camera. It further has a red-eye recognition means for recognizing a red-eye part by detecting a predetermined color included, and the red-eye correction means includes a means for correcting the red-eye part recognized by the red-eye recognition means to a predetermined color. It is characterized by that.
A digital camera of a fourth invention is the digital camera of the third invention, wherein in the digital camera of the third invention, when it is determined that execution of red-eye correction processing is instructed by the determining means, the pre-recorded flash image or the post-record flash image Red eye recognition area specifying means for specifying a red eye recognition area by designating a portion including the red eye, the red eye recognition means having a predetermined color included in the red eye recognition area specified by the red eye recognition area specifying means. It includes a means for recognizing a red-eye portion by detection.
[0008]
A digital camera according to a fifth aspect of the invention is the digital camera according to the fourth aspect of the invention, further comprising enlarged display means for enlarging and displaying the image of the red eye recognition area specified by the red eye recognition area specifying means.
A digital camera according to a sixth aspect of the invention is the digital camera according to the fifth aspect, wherein the red-eye recognizing means performs a predetermined operation after the enlarged display means enlarges and displays the image of the red-eye recognition area. The apparatus includes a means for recognizing a red-eye portion by detecting a predetermined color included in the red-eye recognition area.
A digital camera according to a seventh aspect is the digital camera according to any one of the third to sixth aspects, wherein the red-eye recognition means further recognizes a red-eye portion by detecting a size and / or a position. And
[0009]
The digital camera of an eighth invention is the digital camera of the seventh invention, wherein the red-eye recognition means further changes the size and / or position of recognizing red-eye according to the distance to the subject obtained at the time of imaging. It is characterized by.
A digital camera according to a ninth aspect is the digital camera according to any one of the third to eighth aspects, wherein the red-eye correcting means further includes a color specifying means for specifying a color to be corrected.
The digital camera of the tenth invention is the digital camera of any one of the second to ninth inventions, wherein the first recording control means performs a predetermined operation after the red-eye correction processing is executed by the red-eye correction means. When it is performed, the recording apparatus includes a recording unit that records the pre-recording flash image or the post-recording flash image that has undergone the red-eye correction process.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
<Red-eye prevention method>
FIG. 1 is an explanatory diagram of a red-eye prevention method of the present invention, where (a) is a subject (person), (b) is an image in which red eyes are generated as a result of flash photography, and (c) is a red-eye region (red-eye) on the image. (Recognition target area), (d) shows a correction result, and (e) shows an image with red eyes corrected.
Immediately after taking a stroboscopic image of the
Also, when the recorded image is played back and displayed, it is found that there are red eyes, and the user specifies the red eye part to automatically recognize the position and size of the red eye and correct it to the black eye. Can be recorded.
In addition, after specifying the red eye, the red eye portion may be enlarged during recognition to facilitate recognition. Further, when the eye color of the subject is not black or when it is desired to bring the eye color close to the actual color, the corrected eye color may be designated when the red eye is designated.
[0011]
In the flowchart (FIG. 6) of the embodiment, when the red-
[0012]
<Circuit configuration example>
FIG. 2 is a block diagram showing a circuit configuration example of a digital camera (electronic still camera) as an embodiment of an image processing apparatus to which the present invention is applied. The
[0013]
When receiving the light emission control signal from the
The
[0014]
The
[0015]
The
[0016]
The
[0017]
The
[0018]
The
[0019]
The
A touch panel made of a transparent plate with pressure-sensitive elements arranged on the screen of the
[0020]
The
[0021]
<Red-eye prevention measures>
FIG. 3 is a block diagram showing a configuration example of the red-
[0022]
In FIG. 3, the red-
[0023]
The red-eye area cutting means 211 cuts out the red-eye area designated by the user when the image displayed on the
[0024]
4A and 4B are explanatory diagrams showing the relationship between the designated red-eye portion and the region to be cut out. FIG. 4A shows the case where the red-
[0025]
Point designation is a method of pointing each red eye with a pointing device such as an input pen. In this embodiment, the size of a region to be cut out is calculated based on the distance r between two red eyes (example in the figure). Then, the calculation is made with height = r / 2 and width = r / 3 + r + r / 3 = 5r / 3), but is not limited to this.
Zone designation is a method of designating a portion of a red eye by surrounding a red eye with a cursor, an input pen, or a finger. In this case, it can be designated even when there is only one red eye. In the present embodiment, the size of the red-eye area to be cut out is determined by the maximum height h and the maximum width w of the designated zone, but is not limited to this.
[0026]
The red-eye
[0027]
The red-
[0028]
FIG. 5 is a diagram showing an example of red pixel distribution (red pixel value> α (α is a threshold value)) in the red-eye region. FIG. 5A is a red pixel when there are two red eyes (= normally one person). (B) is a distribution example of red pixels when there is one red eye (when the subject is directed sideways or obliquely (by zone designation)).
In FIG. 5, symbols Iw and Iw ′ are the widths (sizes) of the left and right red eyes. Although only the x-direction distribution is shown in FIG. 5, the red-eye shape can be known by obtaining the y-direction distribution.
[0029]
The widths Iw and Iw ′ can be expressed by a ratio to the distance r between the left and right
[0030]
Further, the distance R to the subject 1 can be calculated by obtaining a distance at the time of focusing based on a control signal (lens movement distance signal) given from the
[0031]
Further, instead of obtaining the red-eye distribution as shown in FIG. 5 and obtaining the widths Iw, Iw ′, etc., the relation between the distance to the
[0032]
The red
The red-eye converted color may be, for example, only black. However, when the red-eye
[0033]
The image synthesizing means 215 pastes the corrected pupil region portion (old red-
[0034]
In the above embodiment, the red-
[0035]
FIG. 6 is a flowchart showing an example of the red-eye prevention operation of the red-eye digital camera during flash photography or image playback.
In FIG. 6, when the red-eye prevention
If it is in the reproduction mode, the process proceeds to S4 (S1), and if not (strobe shooting mode), it waits for the user to depress the shutter button 37 (S2).
When the
When the user looks at the strobe image (or playback image) displayed on the screen of the
After pointing the cut-out icon (not shown) in S5 above, touch the screen with your finger or input pen to point directly to the red eye, or draw a line to surround the red-eye part, and the red-eye area will be cut out. (S6) The red-eye area is enlarged and displayed on the display unit 40 (S7).
If the user looks at the enlarged red-eye area 8 (8 ') and points to a confirmation icon (not shown) on the screen, the process proceeds to S9. If the user points to a redo confirmation icon (not shown), the process returns to S4. The image (flash photography image or playback image) is displayed again (S8).
Recognize red-eye from the color, position and size (relative value) of the red-eye area 8 (8 '), and on the image from the distance from the subject based on the lens movement distance during focusing obtained from the autofocus mechanism. The size of the red eye at is calculated (S9).
The red-eye recognition process S9 includes, for example, steps S91 to S93. In S91, it is determined whether or not a red portion is included in the region 8 (8) ′. Since the size for recognizing the red eye is changed according to the distance to the subject, it is determined in S92 whether the sizes of the red portions match. In S93, there are two red portions having the same size, and it is determined whether the distance between them is the same. This is because the distance recognized as red-eye is changed according to the distance to the subject.
[0036]
Next, the red-eye is converted into a predetermined color (black in this embodiment), and the converted pupil region (old red-eye region 8 (8 ′)) is displayed (S10).
When the user points to the confirmation icon displayed on the screen as the correction result is good by looking at the converted pupil region, the process proceeds to S12, and the redo icon is specified because the correction result is unnatural or misplaced. The process returns to S4 (S11).
[0037]
Next, the converted pupil region (= old red-eye region 8 (8 ′)) is pasted and synthesized on the red-eye region 8 (8 ′) of the original image 1 (S12), and the result is displayed and displayed by the user. If there is a point on the confirmation icon, the process proceeds to S14, and if a redo icon is pointed on, the process returns to S4 (S13).
If no red-eye has occurred in step S5, or if the process is to be postponed even if it has occurred, or if the correction result is OK in step S13, an image is recorded (S14).
[0038]
In the above description, a confirmation icon and a redo icon are displayed on the screen as confirmation of the image and red-eye processing, and when the icon is pointed (specified), the process branches to the corresponding step. May be specified by the operation of the function button of the
[0039]
In the embodiment described above, the user looks at the image and determines whether or not to correct red-eye. However, the user automatically determines whether red-eye is included in the captured image and corrects it. May be.
[0040]
Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and it goes without saying that various modifications can be made.
[0041]
【The invention's effect】
According to the red-eye prevention method of the first invention and the digital camera of the second invention, whether or not there is red-eye in the image at the time of recording is checked by one image , and if there is red-eye, the portion is determined to have a predetermined color. Can be corrected .
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of a red-eye prevention method of the present invention.
FIG. 2 is a block diagram showing a circuit configuration example of a digital camera as an embodiment of an image processing apparatus to which the present invention is applied.
FIG. 3 is a block diagram illustrating a configuration example of a red-eye prevention unit.
FIG. 4 is an explanatory diagram showing a relationship between a designated red-eye portion and a region to be cut out.
FIG. 5 is a diagram illustrating an example of distribution of red pixels in a red-eye region.
FIG. 6 is a flowchart illustrating an example of a red-eye prevention operation of the digital camera during strobe shooting or image playback.
[Explanation of symbols]
1 Subject 2
211 Red-eye area extraction means (red-eye recognition area specifying means)
212 Red-eye area display means (red-eye recognition area specifying means)
213 Red eye recognition means 214 Red eye correction means 215 Image composition means
Claims (10)
この撮影指示工程により撮影が指示された場合にストロボ撮影を実行するストロボ撮影工程と、
このストロボ撮影工程により得られた記録前ストロボ撮影画像を撮影直後に表示部に表示させる表示制御工程と、
この表示制御工程により前記表示部に表示された記録前ストロボ撮影画像に対して赤目修正処理の実行が指示されたか否かを判断する判断工程と、
この判断工程により赤目修正処理の実行が指示されたと判断された場合に前記記録前ストロボ撮影画像に対する赤目修正処理を実行する赤目修正工程と、
この赤目修正工程により赤目修正処理が実行された記録前ストロボ撮影画像をメモリに記録する第1の記録制御工程と、
前記判断工程により赤目修正処理の実行が指示されなかったと判断された場合に前記赤目修正処理が施されていない記録前ストロボ撮影画像をメモリに記録する第2の記録制御工程とを有し、
前記表示制御工程は、前記第2の記録制御工程によりメモリに記録された記録後ストロボ撮影画像を前記表示部に表示させる工程を含み、
前記判断工程は、前記表示制御工程により表示部に表示された前記記録後ストロボ撮影画像に対して赤目修正処理の実行が指示されたか否かを判断する工程を含み、
前記赤目修正工程は、前記判断工程により赤目修正処理の実行が指示されたと判断された場合に前記記録後ストロボ撮影画像に対する赤目修正処理を実行する工程を含み、
前記第1の記録制御工程は、前記赤目修正工程により赤目修正処理が実行された前記記録後ストロボ撮影画像を記録手段に記録する工程を含むことを特徴とする赤目防止方法。A shooting instruction process for instructing shooting;
A strobe shooting process for performing strobe shooting when shooting is instructed in this shooting instruction process;
A display control process for displaying the pre-recording flash image obtained by this flash shooting process on the display unit immediately after shooting;
A determination step of determining whether execution of red-eye correction processing is instructed for the pre-recording strobe image displayed on the display unit by the display control step;
A red-eye correction process for executing a red-eye correction process on the pre-recorded strobe image when it is determined that the execution of the red-eye correction process is instructed by this determination process;
A first recording control step for recording in a memory a pre-recording strobe image that has been subjected to red-eye correction processing by the red-eye correction step;
A second recording control step of recording, in a memory, a pre-recording strobe image that has not been subjected to the red-eye correction processing when it is determined that the execution of the red-eye correction processing has not been instructed by the determination step ;
The display control step includes a step of causing the display unit to display a post-recording strobe image recorded in the memory by the second recording control step,
The determination step includes a step of determining whether or not execution of red-eye correction processing is instructed for the post-recording strobe image displayed on the display unit by the display control step,
The red-eye correction step includes a step of executing a red-eye correction process on the post-recording flash image when it is determined that the execution of the red-eye correction process is instructed by the determination step;
The first recording control step includes a step of recording, on a recording unit, the post-recording stroboscopic image that has been subjected to the red-eye correction process in the red-eye correction step .
この撮影指示手段により撮影が指示された場合にストロボ撮影を実行するストロボ撮影手段と、
このストロボ撮影手段により実行されたストロボ撮影により得られた記録前ストロボ撮影画像を撮影直後に表示手段に表示させる表示制御手段と、
この表示制御手段により前記表示手段に表示された記録前ストロボ撮影画像に対して赤目修正処理の実行が指示されたか否かを判断する判断手段と、
この判断手段により赤目修正処理の実行が指示されたと判断された場合に前記記録前ストロボ撮影画像に対する赤目修正処理を実行する赤目修正手段と、
この赤目修正手段により赤目修正処理が実行された記録前ストロボ撮影画像を記録手段に記録する第1の記録制御手段と、
前記判断手段により赤目修正処理の実行が指示されなかったと判断された場合に前記赤目修正手段による赤目修正処理が施されていない記録前ストロボ撮影画像を記録手段に記録する第2の記録制御手段とを有し、
前記表示制御手段は、前記第2の記録制御手段により記録手段に記録された記録後ストロボ撮影画像を表示手段に表示させる手段を含み、
前記判断手段は、前記表示制御手段により表示手段に表示された前記記録後ストロボ撮影画像に対して赤目修正処理の実行が指示されたか否かを判断する手段を含み、
前記赤目修正手段は、前記判断手段により赤目修正処理の実行が指示されたと判断された場合に前記記録後ストロボ撮影画像に対する赤目修正処理を実行する手段を含み、
前記第1の記録制御手段は、前記赤目修正手段により赤目修正処理が実行された前記記録後ストロボ撮影画像を記録手段に記録する手段を含むことを特徴とするデジタルカメラ。Photographing instruction means for instructing photographing;
Strobe photographing means for performing strobe photography when photographing is instructed by the photographing instruction means;
Display control means for displaying the pre-recording flash image obtained by the flash photography executed by the flash photography means on the display means immediately after shooting;
Determining means for determining whether execution of red-eye correction processing has been instructed by the display control means on the pre-recording strobe image displayed on the display means;
A red-eye correction unit that executes a red-eye correction process on the pre-recorded strobe image when it is determined that the execution of the red-eye correction process is instructed by the determination unit;
First recording control means for recording in the recording means the pre-recording strobe image that has been subjected to red-eye correction processing by the red-eye correcting means;
Second recording control means for recording in the recording means a pre-recorded strobe image that has not been subjected to red-eye correction processing by the red-eye correcting means when it is determined by the determining means that execution of red-eye correction processing has not been instructed ; Have
The display control means includes means for causing the display means to display a post-recording strobe image recorded in the recording means by the second recording control means,
The determination means includes means for determining whether or not execution of red-eye correction processing has been instructed for the post-recording strobe image displayed on the display means by the display control means,
The red-eye correction means includes means for executing red-eye correction processing on the post-recording strobe image when it is determined that execution of red-eye correction processing is instructed by the determination means;
The digital recording apparatus according to claim 1, wherein the first recording control means includes means for recording the post-recording stroboscopic image that has been subjected to red-eye correction processing by the red-eye correction means .
前記赤目修正手段は、前記赤目認識手段により認識された赤目部分を所定の色に修正する手段を含むことを特徴とする請求項2記載のデジタルカメラ。By detecting a predetermined color contained during said pre-recording-in flash captured image or recording after flash photography image when the execution of the red eye correcting process is determined to have been instructed by the determining means recognizes the red part red It further has a recognition means,
3. The digital camera according to claim 2, wherein the red-eye correcting means includes means for correcting a red-eye portion recognized by the red-eye recognizing means to a predetermined color.
前記赤目認識手段は、前記赤目認識領域特定手段により特定された赤目認識領域に含まれる所定の色を検知することにより、赤目部分を認識する手段を含むことを特徴とする請求項3記載のデジタルカメラ。Red-eye recognition area specification that specifies a red-eye recognition area by designating a portion including the red eye in the pre-recording flash photography image or the post-recording flash photography image when it is determined that execution of red-eye correction processing is instructed by the determination means Further comprising means,
4. The digital apparatus according to claim 3, wherein the red-eye recognition means includes means for recognizing a red-eye portion by detecting a predetermined color included in the red-eye recognition area specified by the red-eye recognition area specifying means. camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18823398A JP4045652B2 (en) | 1998-06-18 | 1998-06-18 | Red-eye prevention method and digital camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18823398A JP4045652B2 (en) | 1998-06-18 | 1998-06-18 | Red-eye prevention method and digital camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000013680A JP2000013680A (en) | 2000-01-14 |
JP4045652B2 true JP4045652B2 (en) | 2008-02-13 |
Family
ID=16220126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18823398A Expired - Fee Related JP4045652B2 (en) | 1998-06-18 | 1998-06-18 | Red-eye prevention method and digital camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4045652B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6728401B1 (en) * | 2000-08-17 | 2004-04-27 | Viewahead Technology | Red-eye removal using color image processing |
JP4336186B2 (en) * | 2002-12-11 | 2009-09-30 | 富士フイルム株式会社 | Image correction apparatus and imaging apparatus |
JP2005039715A (en) | 2003-07-18 | 2005-02-10 | Pentax Corp | Digital camera having red-eye reducing bracket photographing mode |
JP4262065B2 (en) | 2003-11-28 | 2009-05-13 | キヤノン株式会社 | Imaging apparatus, control method therefor, and printer |
JP4505362B2 (en) | 2004-03-30 | 2010-07-21 | 富士フイルム株式会社 | Red-eye detection apparatus and method, and program |
JP4757559B2 (en) | 2004-08-11 | 2011-08-24 | 富士フイルム株式会社 | Apparatus and method for detecting components of a subject |
JP4901229B2 (en) * | 2005-03-11 | 2012-03-21 | 富士フイルム株式会社 | Red-eye detection method, apparatus, and program |
KR100727935B1 (en) | 2005-05-24 | 2007-06-14 | 삼성전자주식회사 | Method and apparatus for correcting image |
JP2007305030A (en) | 2006-05-15 | 2007-11-22 | Fujifilm Corp | Red-eye processing method, device and program |
JP4492644B2 (en) * | 2007-06-01 | 2010-06-30 | セイコーエプソン株式会社 | Red-eye correction device, red-eye correction method, and red-eye correction program |
JP5116513B2 (en) * | 2008-03-10 | 2013-01-09 | キヤノン株式会社 | Image display apparatus and control method thereof |
JP6126638B2 (en) * | 2015-04-20 | 2017-05-10 | キヤノン株式会社 | Image processing apparatus, image processing method and program thereof |
-
1998
- 1998-06-18 JP JP18823398A patent/JP4045652B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000013680A (en) | 2000-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6734909B1 (en) | Electronic imaging device | |
JP5089405B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
US20120050587A1 (en) | Imaging apparatus and image capturing method | |
TW200845733A (en) | Camera apparatus, recording medium in which camera apparatus control program is recorded, and method for controlling camera apparatus | |
JP2002158893A (en) | Device and method for correcting picture and recording medium | |
US8508645B1 (en) | Reproducing apparatus, image data reproducing method, program, and storage medium | |
JP2001186323A (en) | Identification photograph system and picture on processing method | |
JP2007306416A (en) | Method for displaying face detection frame, method for displaying character information, and imaging apparatus | |
JP4045652B2 (en) | Red-eye prevention method and digital camera | |
US20090086050A1 (en) | Image capture device and image capture method | |
US8405713B2 (en) | Image pickup apparatus and image combining method of image pickup apparatus | |
US8045015B2 (en) | Image pickup apparatus, white balance control method thereof, and storage medium | |
JP2005167697A (en) | Electronic camera having red-eye correction function | |
US8149317B2 (en) | Display device, photographing apparatus, and display method | |
JP4632417B2 (en) | Imaging apparatus and control method thereof | |
JP4757106B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP4885079B2 (en) | Digital camera, photographing method and photographing program | |
JP2008258960A (en) | Digital camera | |
JP2008092046A (en) | Camera capable of automatic composition extraction, and composition extraction program | |
JP2005223660A (en) | Digital camera | |
JP4407301B2 (en) | Digital camera | |
JP4781299B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP4773924B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP4872801B2 (en) | Imaging apparatus, imaging method, and imaging program | |
JPH11136547A (en) | Camera device and image pickup image work method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060202 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060206 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060911 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070410 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070508 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071112 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |