JP2000115795A - カラー画像処理装置 - Google Patents

カラー画像処理装置

Info

Publication number
JP2000115795A
JP2000115795A JP10277319A JP27731998A JP2000115795A JP 2000115795 A JP2000115795 A JP 2000115795A JP 10277319 A JP10277319 A JP 10277319A JP 27731998 A JP27731998 A JP 27731998A JP 2000115795 A JP2000115795 A JP 2000115795A
Authority
JP
Japan
Prior art keywords
signal
color
suppression
imaging
composition ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10277319A
Other languages
English (en)
Other versions
JP3565723B2 (ja
Inventor
Fujio Okada
藤夫 岡田
Mitsuhisa Nakagawa
光久 中川
Keiichi Negishi
圭一 根岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fuji Photo Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Optical Co Ltd filed Critical Fuji Photo Optical Co Ltd
Priority to JP27731998A priority Critical patent/JP3565723B2/ja
Priority to US09/409,661 priority patent/US6618502B1/en
Publication of JP2000115795A publication Critical patent/JP2000115795A/ja
Application granted granted Critical
Publication of JP3565723B2 publication Critical patent/JP3565723B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

(57)【要約】 【課題】 カラー画像処理装置において、過大露光時に
色信号の抑圧処理を行っても、偽色現象を生じないよう
にする。 【解決手段】 撮像制御手段23により撮像手段10に
比較的大きい露出量の撮像を行わせる。信号抑圧手段1
5が、WB補正およびγ補正が施された各色信号に対し
て、従来の装置と同様の抑圧処理を施す。検知手段20
が、信号抑圧手段15が何れかの色信号(例えばR1)
を抑圧することを検知し、その旨を示す信号Xを信号抑
圧手段22に入力する。次に撮像制御手段23により撮
像手段10に比較的小さい露出量の撮像を行わせる。こ
のとき構成比算出手段21が、各色信号の構成比R4:
G4:B4を算出し、その構成比を示す信号Zを信号抑
圧手段22に入力する。信号抑圧手段22が、信号Zを
参照して、出力される色信号R3,G3,B3の構成比
が、算出した構成比と同じになるように、他の色信号
(前例でいえばG2とB2)を抑圧する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はカラー画像処理装置
に関し、より詳細には、CCD撮像素子等の撮像手段を
備えた監視カメラ或いは医療用カメラ等におけるカラー
画像処理装置に関するものである。
【0002】
【従来の技術】従来より、CCD撮像素子等の撮像手段
を備えたカラー画像撮影用のカラービデオカメラ(以下
単に「カメラ」という)が知られている。このカメラ
は、今日放送用或いは家庭用だけでなく、監視カメラ,
医療用カメラ等としても広く使用されている。
【0003】このカメラを使用してカラー画像を撮影す
る場合、例えば単板式のカメラでは、1個のCCD撮像
素子から色信号(例えばR,G,Bの3原色信号)を得
るために、2次元に配された画素夫々に色フィルタを重
ね、色情報を輝度情報に多重された形で得ることによ
り、輝度信号と3原色信号(或いはこれに準じた信号)
に分離する方式が取られている。色フィルタとしては3
〜4種類の色をドット状に配置させた色フィルタアレイ
が使用されている。
【0004】分離された3原色信号は、その後ホワイト
バランス(WB)補正,ブラウン管のγ特性を相殺する
ためのガンマ(γ)補正や、ニー(KNEE)処理或い
はホワイトクリップ(WC)等の高レベル抑圧処理等が
各色信号毎に施され、輝度信号とともにマトリクス処理
やエンコード処理を行う出力回路に入力され、所定レベ
ルのRGB信号やNTSC方式等の放送用規格に合致し
たビデオ信号に変換されて出力される。周知のように、
ここでの高レベル抑圧処理は、自然光が有するダイナミ
ックレンジをTV信号規格の限られた信号レベル範囲内
に収めるために行われる処理である。図5はこのような
方式をとった従来のカメラの信号処理のブロック図であ
る。
【0005】高レベル抑圧処理としては、従来は3原色
信号夫々について、所定の信号レベル以上のときにその
色信号を抑圧するようにしている。そして、この抑圧さ
れた3原色信号に基づいて輝度信号を再生することによ
り、輝度信号の抑圧処理も同時に達成するようにしてい
る。
【0006】
【発明が解決しようとする課題】ここで従来の高レベル
抑圧処理は、上述のように3原色信号夫々について各色
信号毎に抑圧処理を行う方式を採用しているので、各色
信号の信号レベルが異なれば、ある色信号は抑圧されて
も他の色信号は抑圧されないということが生じ、ある色
信号が抑圧されると各色の構成比が崩れることになるか
ら、従来の高レベル抑圧処理を施すと、少なからず色相
の変化をもたらし色再現性を劣化させるという問題があ
る(図7参照;詳細は実施の形態において述べる)。例
えば、人物を撮影したときに、絞りを開けるにしたがっ
て、肌色が黄色みを呈するようになる、或いは単一色の
高彩度画像において絞りを開けるにしたがって他の色を
呈するようになるという現象(これらを纏めて「偽色現
象」という)である。例えば内視鏡カメラでは、体腔内
では起伏が激しい形状となっていることが多く、光照射
方向との関係で、暗い領域と明るい領域とが同時に撮像
される場合がある。このような撮像条件の場合、CCD
等のダイナミックレンジを拡大するには限界があるの
で、暗い領域に露出量を合わせて明るい領域の信号を抑
圧する(例えば白飛びさせる)か、明るい領域に露出量
を合わせて暗い領域を黒つぶれさせるかの何れかを選択
せざるを得ず、どちらかの領域の画質が劣化する。特に
暗い領域に露出量を合わせて明るい領域の信号を抑圧す
ると、体腔内の色情報としては大部分が赤色であるが、
CCDのカラーフィルタの特性上赤の色信号だけでなく
例えば緑の色信号も少なからず出力されるため、赤成分
を抑圧すると相対的に緑色の比率が高くなり、白飛びを
生じない程度のハイライトで高彩度部分の赤色が緑色を
呈するようになるという現象として現れる。
【0007】この偽色現象を防止するため、撮像信号か
ら分離された輝度信号を参照して、輝度信号が飽和する
ような高輝度レベルでは色信号を抑圧して、色情報をな
くして輝度信号のみとするハイライトクロマサプレス
(HLCS)処理を施してビデオ信号を出力することも
ある。
【0008】しかしながら、HLCS処理は、輝度信号
のハイライト部で色信号を抑圧するものであるため、例
えば赤色の高彩度画像のように輝度信号レベル自体は低
レベルでありながら赤の色信号だけが高レベルで出力さ
れるような場合には、高レベル抑圧処理により赤の色信
号のみが抑圧され、HLCS処理はされないということ
が生じ、赤の色信号のみが抑圧されたことによる偽色現
象を防止することができない。
【0009】また、撮像出力が飽和してしまうような過
大レベルの情報を含む画像の場合、従来の装置では白飛
びを起こした画像として出力されるが、内視鏡カメラ等
の医療用カメラにおいては、適正な色情報が出力されな
いと診断性能が著しく劣化するという問題があるので、
色情報をなくしてしまうという信号処理は、医療用カメ
ラとしては好ましい処理ではない。
【0010】本発明は上記事情に鑑みてなされたもので
あり、輝度信号レベルに拘わらず、ハイライト部や高彩
度部の偽色現象を改善することができるカラー画像処理
装置を提供することを目的とするものである。
【0011】
【課題を解決するための手段】本発明によるカラー画像
処理装置は、被写体を撮像する撮像手段と、撮像手段の
出力に基づいて被写体のカラー画像情報を担持する複数
の色信号を出力する色信号分離手段と、複数の色信号夫
々が所定の信号レベル以上のときに、その色信号を抑圧
する第1の信号抑圧手段とを備えたカラー画像処理装置
であって、撮像手段に、比較的大きい露出量の撮像と比
較的小さい露出量の撮像とを交互に行わしめる撮像制御
手段と、比較的大きい露出量の撮像時に、第1の信号抑
圧手段が複数の色信号の何れかを抑圧することを検知す
る検知手段と、比較的小さい露出量の撮像時の各色信号
の構成比を算出する構成比算出手段と、検知手段の前記
抑圧が行われること示す出力に応じて、複数の色信号の
構成比が算出された構成比と同じになるように、他の色
信号を抑圧する第2の信号抑圧手段とを備えたことを特
徴とするものである。
【0012】ここで「比較的大きい露出量の撮像と比較
的小さい露出量の撮像とを交互に行わしめる」とは、両
者を毎回交互に撮像を行わしめることだけではなく、比
較的大きい露出量の撮像を数回行なわしめることと、比
較的小さい露出量の撮像を1回行わしめること(大小の
何れを先に行わしめるかは問わない)を繰り返し行わし
めるものも含む意味である。
【0013】「抑圧することを検知する」検知手段とあ
るが、この検知手段は、第1の信号抑圧手段により抑圧
される前に検知するものであってもよいし、抑圧された
後に検知するものであってもよい。
【0014】「複数の色信号の構成比が算出された構成
比と同じになるように」とは、第2の信号抑圧手段から
出力される、第1の信号抑圧手段により抑圧されたもの
と同色の色信号と他の色信号との構成比が算出された構
成比と同じになるように、という意味である。またこの
場合、複数の色信号全ての構成比が前記算出された構成
比と同じになるように、他の色信号全てについて抑圧を
行うものでなくてもよい。すなわち、第1の信号抑圧手
段により何れかの色信号が抑圧されることにより、色再
現性を劣化させる原因となる色信号のみを前記算出され
た構成比と同じになるように抑圧するものであればよ
く、必ずしも他の色信号全ての構成比が同じになるよう
に抑圧するものでなくてもよい。なお、複数の色信号全
ての構成比が前記算出された構成比と同じになるように
するのが最も望ましいのは勿論である。
【0015】また「構成比と同じ」とあるが、算出され
た構成比と厳密に同じであるものに限定されるものでは
ない。具体的には、他の色信号を抑圧することにより視
覚上色再現性の劣化が改善される程度の構成比であれば
十分であり、ここでの「同じ」はこのような場合の構成
比も含む意味である。例えば、算出された構成比に基づ
いて各色信号の差を算出し、その差が維持されるように
他の色信号を抑圧することにより視覚上色再現性の劣化
を改善することができれば、各色信号の差が維持される
ように他の色信号を抑圧するものであってもよい。
【0016】本発明によるカラー画像処理装置の撮像制
御手段は、比較的長時間の露光を行って比較的大きい露
出量の撮像を行わしめ、比較的短時間の露光を行って比
較的小さい露出量の撮像を行わしめるものであることが
望ましい。
【0017】
【発明の効果】本発明によるカラー画像処置装置によれ
ば、従来の装置に備えられている信号抑制手段と同じ機
能を有する第1の信号抑圧手段が比較的大きい露出量の
撮像時に何れかの色信号を抑圧したときには、比較的小
さい露出量の撮像時の各色信号の構成比と同じになるよ
うに、第2の信号抑圧手段により他の色信号をも抑圧す
るようにしたので、偽色現象を完全に防止することがで
き、色再現性が改善される。
【0018】また、比較的小さい露出量の撮像時の各色
信号の構成比を参照するようにしたので、比較的大きい
露出量の撮像を行うと飽和してしまうような過大レベル
の情報を含む画像であっても、比較的小さい露出量の撮
像を行うことにより、飽和していない色信号に基づいて
その構成比を精度よく算出することができるようにな
り、色再現性の改善のダイナミックレンジを拡大するこ
とができる。
【0019】さらに広範囲に亘って偽色現象を改善する
ことができるので、HLCS処理が不要となり、適正な
色情報を常に出力することができるから、内視鏡カメラ
等の医療用カメラに好適な装置にすることができる。
【0020】さらにまた、露光時間を変えることにより
露出量の制御を行うようにすれば、CCDを駆動する駆
動パルスを制御するいわゆるシャッタスピード制御によ
り露出量を変えることができるので、比較的大きい露出
量の撮像と比較的小さい露出量の撮像とを極めて簡単に
交互に行わしめることができる。
【0021】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。図1は本発明の実施
の形態によるカラー画像処理装置の構成を示すブロック
図である。このカラー画像処理装置は、例えば電子内視
鏡カメラ等に適用するのに好適なものである。
【0022】図1に示すカラー画像処理装置は、被写体
を撮像するCCD撮像素子等を有してなる撮像手段10
と、撮像手段10に、比較的大きい露出量の撮像と比較
的小さい露出量の撮像とを交互に行わしめる撮像制御手
段23と、撮像手段10からの撮像出力Sに基づいて被
写体のカラー画像情報を担持する各色信号R0,G0,
B0を出力する色信号分離手段13と、各色信号R0,
G0,B0に対してWB補正やγ補正を施すプロセス回
路14と、プロセス回路14の各出力信号R1,G1,
B1夫々が所定の信号レベル以上のときに、当該色信号
を抑圧する第1の信号抑圧手段15と、比較的大きい露
出量の撮像時に、第1の信号抑圧手段15が色信号R
1,G1,B1の何れかを抑圧することを検知する検知
手段20と、比較的小さい露出量の撮像時の各色信号R
1,G1,B1の構成比を算出する構成比算出手段21
と、検知手段の抑圧が行われること示す信号Xに応じ
て、各色信号R3,G3,B3の構成比が算出された構
成比と同じになるように、信号抑圧手段15から出力さ
れた他の色信号R2,G2,B2の抑圧を行う第2の信
号抑圧手段22と、輝度信号Yおよび各色信号R3,G
3,B3が入力され所定の出力信号(ビデオ出力信号、
RGB出力信号等)を出力する出力回路16とを備えて
いる。この装置は、図6に示した従来のカラー画像処理
装置に対して、検知手段20,構成比算出手段21,第
2の信号抑圧手段22および撮像制御手段23がさらに
備えられている点が異なる。なお、第2の信号抑圧手段
22が行う抑圧処理を以下「補正抑制処理」という。
【0023】撮像制御手段23は、CCDを駆動する駆
動パルスDPを制御するシャッタスピード制御により、
比較的長時間の露光を行って比較的大きい露出量の撮像
を行わしめ、比較的短時間の露光を行って比較的小さい
露出量の撮像を行わしめるものである。この撮像制御手
段23から、比較的大きい露出量の撮像と比較的小さい
露出量の撮像との何れを行っているかを示す信号EX
が、構成比算出手段21および各検知手段20R,20
G,20Bに入力される。
【0024】このようにシャッタスピード制御により、
比較的大きい露出量の撮像と比較的小さい露出量の撮像
とを行うことが可能なCCDとしては、例えば「Hyp
er−D CCD(画像電子学会誌 第25巻 第4号
(1996)P397〜P405)」が好適である。な
お、撮像制御手段23としては、本例のようにシャッタ
スピード制御に限定されるものではなく、例えば絞りを
制御するものとしてもよいのは勿論である。
【0025】図2は信号抑圧手段15,検知手段20,
構成比算出手段21および信号抑圧手段22を詳細に示
したブロック図である。信号抑圧手段15,検知手段2
0および信号抑圧手段22は、各色信号毎に夫々の機能
を成す部分を有している。図中の各色毎の構成部分には
対応する色信号の符号を付して示す。
【0026】構成比算出手段21により算出された構成
比を表す信号Zが各色用の信号抑圧手段22R,22
G,22B夫々に入力される。
【0027】信号抑圧手段15Rが色信号R1を抑圧す
ることを検知する検知手段20Rは、色信号R1が抑圧
されること示す信号XRを色信号R1以外の色信号を抑
圧する信号抑圧手段、すなわち色信号G2を抑圧する信
号抑圧手段22Gと色信号B2を抑圧する信号抑圧手段
22Bとに入力する。同様に信号抑圧手段15Gが色信
号G1を抑圧することを検知する検知手段20Gは、色
信号G1が抑圧されること示す信号XGを、色信号R2
を抑圧する信号抑圧手段22Rと色信号B2を抑圧する
信号抑圧手段22Bとに入力し、信号抑圧手段15Bが
色信号B1を抑圧することを検知する検知手段20B
は、色信号B1が抑圧されること示す信号XBを、色信
号R2を抑圧する信号抑圧手段22Rと色信号G2を抑
圧する信号抑圧手段22Gとに入力する。
【0028】本装置を電子内視鏡カメラに適用する場合
には、撮像手段10は電子内視鏡の先端部に配置され
る。なお図示しないが、撮像手段10には撮像信号Sを
抽出する相関2重サンプリング(CDS)回路,撮像信
号Sをデジタル化するA/D変換回路が接続されてい
る。
【0029】色信号分離手段13は撮像信号Sを輝度信
号Yと色信号Cに分離するY/C分離回路11と、分離
された色信号Cをさらに3つの原色信号R0,G0,B
0に分離する色分離回路12から成る。Y/C分離回路
11には、不図示のA/D変換回路によりデジタル化さ
れた撮像信号Sが入力される。なお、ここでは色分離回
路12が3つの原色信号R0,G0,B0に分離するも
のについて示しているが、本発明は必ずしもこれに限定
されるものではない。すなわち被写体のカラー画像情報
を担持する複数の色信号に分離するものである限り、ど
のような出力号に分離するものであってもよく、例えば
「2R−G」と「2B−G」といういわゆる色差信号に
分離するものであってもよい。
【0030】出力回路16はRGBマトリクス処理やビ
デオ信号形成処理を行うものである。輝度信号Yおよび
各色信号R3,G3,B3が不図示のD/A変換器に入
力された後、この出力回路16に入力される。出力回路
16から出力されたビデオ信号VOUT や色信号出力R
OUT ,GOUT ,BOUT は不図示のTVモニタ等に入力さ
れ、モニタ上に可視画像として表示される。
【0031】以下上記構成のカラー画像処理装置の作用
について説明する。
【0032】最初に図6に示す従来のカラー画像処理装
置における抑圧処理(本例ではニー処理とWC処理)に
ついて簡単に説明する。
【0033】図7は従来のカラー画像処理装置において
γ補正された各信号R1,G1,B1(纏めてINと記
す)、抑圧処理が施された出力信号R2,G2,B2
(纏めてOUTと記す)との関係を表す抑圧特性カーブ
を示したものである。これは、本発明による装置におけ
る第1の信号抑圧手段15の抑圧特性を示すものでもあ
る。
【0034】図7から明らかなように、入力レベルがI
N1まではγカーブそのものに従って出力され、入力レ
ベルがIN1〜IN2の範囲では、ニーポイントをL1
とするニー処理を施して出力信号の抑圧を行い、入力レ
ベルがIN2以上ではWC処理を施してクリップレベル
L2で一定となるようにしている。なお、露出量が過大
のときにはγ補正された各信号R1,G1,B1も飽和
するので、図中IN3以降のレベルがL3一定となって
おり、このL3に対してクリップレベルL2で一定とな
るように抑圧処理が施される。
【0035】図8は肌色の被写体を撮像したときの抑圧
処理の流れを示した図である。図中a,bにおけるR
1,G1,B1はプロセス回路14から出力される各色
の信号レベル、W1はそれから演算される輝度信号レベ
ルを示し、また図中cにおけるR2,G2,B2は抑圧
手段15から出力される各色の信号レベル、W2はそれ
から演算される輝度信号レベルを示す。
【0036】先ず肌色の被写体を適正な露出レベルで撮
像したときのR,G,B各色の信号レベルが図7のaで
あるとする。露出レベルを大きくして撮像すると、R,
G,B各色信号はその構成比を保持したままレベルが大
きくなり、図7のbで示す状態になる。これに抑圧処理
を施すと、ニーポイントL1を越えた部分に対して抑圧
処理が加わるので図7のcで示す状態となり、G信号お
よびB信号のレベルは変わらずR信号のみのレベルが下
がる。この結果、輝度信号レベルを抑圧する目的は達せ
られるが、Rの構成比がG,Bに対して下がり、肌色が
黄色に変色するという偽色現象を生じ、色再現性を劣化
させる。
【0037】図1に示す本発明の実施の形態によるカラ
ー画像処理装置は、このような偽色現象を改善すること
を目的とするものである。以下、図1に示す本発明によ
るカラー画像処理装置の作用について説明する。
【0038】図3は本発明によるカラー画像処理装置に
おいて、肌色の被写体を撮像したときの抑圧処理の流れ
を示した図である。図中a,bにおけるR1,G1,B
1はプロセス回路14から出力される各色の信号レベ
ル、W1はそれから演算される輝度信号レベルを示し、
また図中cにおける点線部分の各信号レベルR2,G
2,B2は抑圧手段15から出力される各色の信号レベ
ル、W2はそれから演算される輝度信号レベルを示し、
図中cにおけるR3,G3,B3は抑圧手段22から出
力される各色の信号レベル、W3はそれから演算される
輝度信号レベルを示し、これらは何れも比較的大きい露
出量の撮像時におけるものである。なお、R2のように
点線部分の信号レベルが図中cにおいて表されていない
のは、信号レベルがR2=R3であるからである。
【0039】一方図中bにおけるR4,G4,B4は、
比較的小さい露出量の撮像時におけるプロセス回路14
から出力される各色の信号レベル、W4はそれから演算
される輝度信号レベルを示す。
【0040】先ず撮像制御手段23がシャッタスピード
を比較的長くして(例えば1/100秒)、比較的大き
い露出量の撮像を行う。このときに肌色の被写体を適正
な露出レベルで撮像したときのR,G,B各色の信号レ
ベルが図3のaであるとする。 次に露出レベルを大き
くして撮像する(例えば1/60秒)。但しこのときの
露出量は、各色信号R1,G1,B1が飽和しない程
度、すなわち各色信号R1,G1,B1の出力レベルが
L3以下となるようにする。このときR,G,B各色信
号はその構成比を保持したままレベルが大きくなり、図
3のbで示す状態になる。これに信号抑圧手段15によ
り抑圧処理を施すと、ニーポイントL1を越えた部分に
対して抑圧処理が加わるので図3のcにおける点線で示
す状態となり、G信号およびB信号のレベルは変わらず
R信号のみのレベルが下がる。この状態は、従来のカラ
ー画像処理装置における図8に示した状態と同じであ
る。
【0041】次いで撮像制御手段23がシャッタスピー
ドを比較的短くして(例えば1/1000秒)、比較的
小さい露出量の撮像を行う。このとき構成比算出手段2
1が、信号抑圧手段15により抑圧処理が施される前の
各色信号R4,G4,B4の構成比(R4:G4:B
4)を算出して、算出した構成比を表す信号Zを各信号
抑圧手段22R,22G,22Bに入力する。
【0042】検知手段20RはR1信号が抑圧されるこ
と、検知手段20GはG1信号が抑圧されること、検知
手段20BはB1信号が抑圧されることを夫々検知する
ため、各色信号R1,G1,B1を夫々監視している。
本例においては、信号抑圧手段15RがR1信号を抑圧
するので、検知手段20RからR1信号が抑圧されるこ
と示す信号XRが信号抑圧手段22G,22Bに入力さ
れる。一方G1信号が抑圧されること示す信号XG、B
1信号が抑圧されること示す信号XBは何れも出力され
ない。
【0043】G1信号が抑圧されること示す信号XG、
B1信号が抑圧されること示す信号XBの何れも入力さ
れない信号抑圧手段22Rは、入力されたR2信号をそ
のまま出力する(出力信号R3)。一方R1信号が抑圧
されること示す信号XRが入力された各信号抑圧手段2
2G,22Bは、信号抑圧手段15による抑圧処理前の
色信号の構成比を表す信号Zに基づいて、信号抑圧手段
22の出力である各色信号R3,G3,B3の構成比が
算出された構成比と同じになるように、各色信号G2,
B2に対して補正抑圧処理を施す。これにより、各色信
号レベルは図3のcにおける点線で示す状態から、同図
中の実線で示す補正抑制処理後の状態となる。
【0044】この結果、輝度信号レベルに拘わらず、最
終的に出力される各色信号R3,G3,B3の構成比が
比較的小さい露出量の撮像時における色信号R4,G
4,B4の構成比と同じになるので、従来の装置のよう
に肌色が黄色に変色するという偽色現象を生じることが
なく、抑圧処理を施しても色再現性を劣化させることが
ない。また偽色現象を生じないから、従来の装置のよう
なHLCS処理が不要となり装置を簡易化できる。さら
に、信号抑圧手段15により抑圧される色信号(本例で
はR信号)に対しては伸長も圧縮も行わずそのまま出力
し、抑圧処理前の色信号の構成比が維持されるように他
の色信号(本例ではG信号およびB信号)のみに対して
補正抑圧処理を施すので、後段の出力回路に入力される
信号レベルが従来の装置の場合よりも大きくなるという
ことがなく、出力回路のダイナミックレンジに問題を生
じることもない。さらにまた、輝度信号レベルを参照す
る必要もないから、適切な輝度信号レベルを算出すると
いう複雑な処理を必要としないので、簡易な構成で装置
を実現することができる。
【0045】なお、図3のcから明らかなように、輝度
信号レベルがW2からW3へと若干下がるが、輝度信号
の抑圧処理も同時に達成されていることには変わりがな
い。
【0046】次に露出レベルを大きくして撮像する場合
において、何れかの色信号が飽和する程度の過大露出、
すなわち何れかの色信号の出力レベルがL3で飽和する
場合について説明する。
【0047】図4は赤色信号R1の出力レベルがL3で
飽和する場合について示したものである。図中各符号は
図3に示したものと同様である。なお、図中bにおける
R1’は、L3で飽和しなかったと仮定した場合の出力
レベルを示す。
【0048】先ず上述と同様に撮像制御手段23がシャ
ッタスピードを比較的長くして(例えば1/100
秒)、比較的大きい露出量の撮像を行う。このときに肌
色の被写体を適正な露出レベルで撮像したときのR,
G,B各色の信号レベルは図3のaで示すものと同じで
ある(図4のa参照)。
【0049】次いで赤色信号R1が飽和する程度の過大
露出の状態で撮像する。このときG,B各色信号はその
構成比を保持したままレベルが大きくなるが、赤色信号
はR1’の如くその構成比を保持することができずL3
で飽和するので、図4のbの実線で示す状態になる。
【0050】これに信号抑圧手段15により抑圧処理を
施すと、ニーポイントL1を越えた部分に対して抑圧処
理が加わるので図4のcにおける点線で示す状態とな
り、G信号およびB信号のレベルは変わらずR信号のみ
のレベルが下がる。この状態は、上述の図3に示した状
態と似ているが、信号抑圧手段15による抑圧処理前に
おいて既にRの構成比がG,Bに対して下がっているの
で、このままでは偽色現象が激しくなる虞れが強い。
【0051】図1に示す本発明の実施の形態によるカラ
ー画像処理装置は、このように何れかの色信号が飽和す
る程度の過大露出の場合においても、偽色現象を良好に
改善することが可能である。以下この作用について説明
する。
【0052】上述同様に撮像制御手段23がシャッタス
ピードを比較的短くして、比較的小さい露出量の撮像を
行う。このとき構成比算出手段21が、信号抑圧手段1
5により抑圧処理が施される前の各色信号R4,G4,
B4の構成比(R4:G4:B4)を算出して、算出し
た構成比を表す信号Zを各信号抑圧手段22R,22
G,22Bに入力する。比較的小さい露出量の撮像を行
っているので、各色信号R4,G4,B4は何れも飽和
することがなく、各色の構成比を精度よく算出すること
ができる。
【0053】信号抑圧手段22は、その出力である各色
信号R3,G3,B3の構成比が算出された構成比と同
じになるように、各色信号G2,B2に対して補正抑圧
処理を施す。これにより、各色信号レベルは図4のcに
おける点線で示す状態から、同図中の実線で示す補正抑
制処理後の状態となる。
【0054】この結果、輝度信号レベルに拘わらず、し
かも過大露出により何れかの色信号が飽和する場合にお
いても、最終的に出力される各色信号R3,G3,B3
の構成比が、比較的小さい露出量の撮像を行った飽和し
ていないときの色信号R4,G4,B4の構成比と同じ
になるので、本例においても偽色現象が生じない。
【0055】偽色現象を改善するために補正抑制処理を
行うに際して、信号抑圧手段15により抑圧処理が施さ
れる前の各色信号R1,G1,B1の構成比を算出し、
この算出結果に基づいて補正抑制処理を行うことも考え
られるが、上述のように過大露出の状態では何れかの色
信号が飽和するため適切な構成比を算出することはでき
ない。一方本発明によれば過大露出の状態でも、適切な
構成比を算出することが可能となり、色再現性の改善の
ダイナミックレンジを拡大することができるので、本発
明が果たす効果は極めて大きい。
【0056】また広範囲に亘って偽色現象を改善するこ
とができるので、HLCS処理が全く不要となり、適正
な色情報を過大露出の状態でも出力することができるか
ら、内視鏡カメラ等の医療用カメラに好適な装置にする
ことができる。
【0057】上記説明は、各色信号の構成比が維持され
るように他の色信号全てを抑圧するものについて説明し
たが、本発明は必ずしも他の色信号全てを抑圧するもの
に限定されるものではない。例えば、偽色現象により視
覚上の色再現性を損なう原因となる色信号のみを抑圧し
てもよい。具体的には図5に示す如くである。
【0058】図5は本発明によるカラー画像処理装置に
おいて、体腔内など高彩度の赤色の被写体を撮像したと
きの抑圧処理の流れを示した図である。図中各符号は図
3に示したものと同様である。
【0059】先ずこの被写体を適正な露出レベルで撮像
したときのR,G,B各色の信号レベルが図5のaであ
るとする。赤色単一の被写体であっても、CCD撮像素
子の色フィルタの特性上、大レベルのR信号のみでな
く、低レベルではあるがG信号やB信号も出力される。
露出レベルを大きくして撮像すると、R,G,B各色信
号はその構成比を保持したままレベルが大きくなり、図
5のbで示す状態になる。これに信号抑圧手段15によ
り抑圧処理を施すと、ニーポイントL1を越えた部分に
対して抑圧処理が加わるので図5のcにおける点線で示
す状態となり、G信号およびB信号のレベルは変わらず
R信号のみのレベルが下がる。
【0060】次いで上述のように撮像制御手段23がシ
ャッタスピードを比較的短くして、比較的小さい露出量
の撮像を行う。このとき構成比算出手段21が、信号抑
圧手段15により抑圧処理が施される前の各色信号R
4,G4,B4の構成比(R4:G4:B4)を算出し
て、算出した構成比を表す信号Zを各信号抑圧手段22
R,22G,22Bに入力する。
【0061】上述のように、検知手段20RからR1信
号が抑圧されること示す信号XRが信号抑圧手段22
G,22Bに入力される。一方G1信号が抑圧されるこ
と示す信号XG、B1信号が抑圧されること示す信号X
Bは何れも出力されない。したがって、信号抑圧手段2
2Rは入力されたR2信号をそのまま出力する。
【0062】ここで、G2信号とB2信号とを較べた場
合、B2信号のレベルが極めて低く、また元来青色は視
覚感度が低いので偽色現象を生じさせる原因としては影
響が小さい。
【0063】そこで信号抑圧手段22GにもR1信号が
抑圧されること示す信号XRが入力されているが、ここ
ではB2信号に対しては上述のような補正抑圧処理は行
わず、色信号R3とG3との構成比が算出されたR1と
G1との構成比と同じになるように、色信号G2に対し
てのみ補正抑圧処理を施す。これにより、各色信号レベ
ルは図5のcにおける点線で示す状態から、同図中の実
線で示す補正抑制処理後の状態となる。
【0064】この結果、最終的に出力される色信号R3
とG3との構成比が、比較的小さい露出量の撮像時の色
信号R4とG4との構成比と同じになるので、従来の装
置のように赤色が緑色に変色するという偽色現象を生じ
ることがなく、G信号のみに対して補正抑制処理を施し
ても色再現性を劣化させることがない。
【0065】なお本例においても赤の色信号が飽和する
程度の過大露出の場合においても、偽色現象を良好に改
善することが可能であるのは勿論である。
【0066】上記説明は、比較的小さい露出量の撮像時
の各色信号の構成比が厳密に維持されるように他の色信
号を抑圧するものについて説明したが、本発明は必ずし
も各色信号の構成比が厳密に維持されるように他の色信
号を抑圧するものに限定されるものではない。すなわ
ち、他の色信号を抑圧することにより視覚上色再現性の
劣化が改善される程度の構成比であれば十分であり、こ
こでの「同じ」はこのような場合の構成比も含む。これ
は、色信号の構成比が厳密に同じでなくても、何れかの
色信号が抑圧されたときに他の色信号が少なからず抑圧
されると、その分だけ偽色現象が少なくなるので、本発
明の目的である色再現性の改善が達成するからである。
例えば、比較的小さい露出量の撮像時の各色信号の構成
比に基づいて各色信号の差を算出し、その差が維持され
るように他の色信号を抑圧する方法や、構成比や差に拘
わらず常に一定レベル抑圧する方法等を採ることもでき
る。また上記説明は、検知手段20は信号抑圧手段15
による抑圧処理前の色信号R1,G1,B1を監視し
て、信号抑圧手段15が色信号R1,G1,B1の何れ
かを抑圧することを検知するものについて説明したが、
本発明は必ずしもこれに限定されるものではなく、信号
抑圧手段15が色信号R1,G1,B1の何れかを抑圧
することを検知することができるものである限り、どの
ような構成を採るものであってもよい。具体的には、信
号抑圧手段15による抑圧処理後の色信号(例えばR
2,G2,B2)を監視することにより前記検知を行う
ようにしてもよい。
【図面の簡単な説明】
【図1】本発明の実施の形態によるカラー画像処理装置
のブロック図
【図2】上記装置の信号抑圧手段,検知手段,構成比算
出手段および信号抑圧手段を詳細に示したブロック図
【図3】上記装置において、肌色の被写体を撮像したと
きの抑圧処理の流れを示した図
【図4】上記装置において、肌色の被写体を撮像したと
きの抑圧処理の流れを示した図(過大露出の場合)
【図5】上記装置において、高彩度の赤色の被写体を撮
像したときの抑圧処理の流れを示した図
【図6】従来のカラー画像処理装置のブロック図
【図7】従来のカラー画像処理装置における抑圧処理の
特性(本発明による装置における第1の信号抑圧手段の
抑圧特性でもある)を示す図
【図8】従来のカラー画像処理装置において、肌色の被
写体を撮像したときの抑圧処理の流れを示した図
【符号の説明】
10 撮像手段 11 Y/C分離回路 12 色分離回路 13 色信号分離手段 14 プロセス回路 15 第1の信号抑圧手段 16 出力回路 20 検知手段 21 構成比算出手段 22 第2の信号抑圧手段 23 撮像制御手段
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 4C061 AA00 BB00 CC06 DD00 JJ17 MM02 NN05 SS17 SS30 TT01 TT03 TT04 TT13 5C066 AA01 CA08 EA03 EA13 GA01 KA08 KA12 KD06 KE01 KF01 KM02

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 被写体を撮像する撮像手段と、前記撮像
    手段の出力に基づいて前記被写体のカラー画像情報を担
    持する複数の色信号を出力する色信号分離手段と、前記
    複数の色信号夫々が所定の信号レベル以上のときに、当
    該色信号を抑圧する第1の信号抑圧手段とを備えたカラ
    ー画像処理装置において、 前記撮像手段に、比較的大きい露出量の撮像と比較的小
    さい露出量の撮像とを交互に行わしめる撮像制御手段
    と、 前記比較的大きい露出量の撮像時に、前記第1の信号抑
    圧手段が前記複数の色信号の何れかを抑圧することを検
    知する検知手段と、 前記比較的小さい露出量の撮像時の各色信号の構成比を
    算出する構成比算出手段と、 前記検知手段の前記抑圧が行われることを示す出力に応
    じて、前記複数の色信号の構成比が前記算出された構成
    比と同じになるように、前記他の色信号を抑圧する第2
    の信号抑圧手段とを備えたことを特徴とするカラー画像
    処理装置。
  2. 【請求項2】 前記撮像制御手段が、比較的長時間の露
    光を行って前記比較的大きい露出量の撮像を行わしめ、
    比較的短時間の露光を行って前記比較的小さい露出量の
    撮像を行わしめるものであることを特徴とする請求項1
    記載のカラー画像処理装置。
JP27731998A 1998-09-30 1998-09-30 カラー画像処理装置 Expired - Fee Related JP3565723B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP27731998A JP3565723B2 (ja) 1998-09-30 1998-09-30 カラー画像処理装置
US09/409,661 US6618502B1 (en) 1998-09-30 1999-09-30 Color image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27731998A JP3565723B2 (ja) 1998-09-30 1998-09-30 カラー画像処理装置

Publications (2)

Publication Number Publication Date
JP2000115795A true JP2000115795A (ja) 2000-04-21
JP3565723B2 JP3565723B2 (ja) 2004-09-15

Family

ID=17581885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27731998A Expired - Fee Related JP3565723B2 (ja) 1998-09-30 1998-09-30 カラー画像処理装置

Country Status (2)

Country Link
US (1) US6618502B1 (ja)
JP (1) JP3565723B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061104A (ja) * 2001-08-14 2003-02-28 Canon Inc 色信号処理装置、撮像装置およびそれらの制御方法
JP2009077410A (ja) * 2002-08-23 2009-04-09 Micron Technology Inc 画素信号処理方法及び画素回路処理方法
WO2009054527A1 (ja) * 2007-10-26 2009-04-30 Taiyo Yuden Co., Ltd. 映像表示装置および方法およびこれに組み込まれる信号処理回路および液晶バックライト駆動装置
JP2011035945A (ja) * 2010-11-16 2011-02-17 Canon Inc 信号処理装置及び信号処理方法
JP2013046377A (ja) * 2011-08-26 2013-03-04 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803955B1 (en) * 1999-03-03 2004-10-12 Olympus Corporation Imaging device and imaging apparatus
EP1357760B1 (en) * 2001-01-09 2011-11-09 Sony Corporation Image processing device and method
JP3921499B2 (ja) * 2001-08-22 2007-05-30 富士フイルム株式会社 カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置
US7391475B2 (en) * 2002-01-31 2008-06-24 Hewlett-Packard Development Company, L.P. Display image generation with differential illumination
US7239758B2 (en) * 2002-02-07 2007-07-03 Nikon Corporation Signal processing device for reducing noise of image signal, signal processing program, and signal processing method
JP4153715B2 (ja) * 2002-04-08 2008-09-24 松下電器産業株式会社 映像信号処理装置及び映像信号処理方法
JP4583015B2 (ja) * 2003-09-29 2010-11-17 三洋電機株式会社 キャラクタ表示制御回路および集積回路
US8270753B2 (en) * 2005-06-14 2012-09-18 Nikon Corporation Image processing device, computer program product, and image processing method to restore signals in a saturated area
US8498332B2 (en) * 2006-09-21 2013-07-30 Qualcomm Incorporated Chroma supression features
US7884866B2 (en) * 2007-09-14 2011-02-08 Ricoh Company, Ltd. Imaging apparatus and imaging method
US20090278655A1 (en) * 2008-05-06 2009-11-12 The Abraham Joshua Heschel School Method for inhibiting egress from a chamber containing contaminants
JP6536000B2 (ja) * 2014-09-17 2019-07-03 リコーイメージング株式会社 撮影装置
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131796A (ja) * 1993-10-29 1995-05-19 Canon Inc 画像合成装置
JPH09331539A (ja) * 1996-04-12 1997-12-22 Sony Corp ビデオカメラ装置、映像信号処理装置、カラー映像信号のレベル圧縮方法および階調変換方法
JPH10257515A (ja) * 1997-03-07 1998-09-25 Hitachi Denshi Ltd テレビジョンカメラ装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5168532A (en) * 1990-07-02 1992-12-01 Varian Associates, Inc. Method for improving the dynamic range of an imaging system
US6040858A (en) * 1994-11-18 2000-03-21 Canon Kabushiki Kaisha Method and apparatus for expanding the dynamic range of sensed color images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131796A (ja) * 1993-10-29 1995-05-19 Canon Inc 画像合成装置
JPH09331539A (ja) * 1996-04-12 1997-12-22 Sony Corp ビデオカメラ装置、映像信号処理装置、カラー映像信号のレベル圧縮方法および階調変換方法
JPH10257515A (ja) * 1997-03-07 1998-09-25 Hitachi Denshi Ltd テレビジョンカメラ装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061104A (ja) * 2001-08-14 2003-02-28 Canon Inc 色信号処理装置、撮像装置およびそれらの制御方法
US7113207B2 (en) 2001-08-14 2006-09-26 Canon Kabushiki Kaisha Chrominance signal processing apparatus, image-sensing apparatus and control methods for same
JP2009077410A (ja) * 2002-08-23 2009-04-09 Micron Technology Inc 画素信号処理方法及び画素回路処理方法
WO2009054527A1 (ja) * 2007-10-26 2009-04-30 Taiyo Yuden Co., Ltd. 映像表示装置および方法およびこれに組み込まれる信号処理回路および液晶バックライト駆動装置
US8487950B2 (en) 2007-10-26 2013-07-16 Taiyo Yuden Co. Ltd. Video display apparatus and method, and signal processing circuit and liquid crystal backlight driver to be built therein
JP5374773B2 (ja) * 2007-10-26 2013-12-25 太陽誘電株式会社 映像表示装置および方法およびこれに組み込まれる信号処理回路および液晶バックライト駆動装置
JP2011035945A (ja) * 2010-11-16 2011-02-17 Canon Inc 信号処理装置及び信号処理方法
JP2013046377A (ja) * 2011-08-26 2013-03-04 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
US8970745B2 (en) 2011-08-26 2015-03-03 Casio Computer Co., Ltd. Image processing device, image processing method and storage medium to suppress shading of images in which pixel addition processing is performed

Also Published As

Publication number Publication date
US6618502B1 (en) 2003-09-09
JP3565723B2 (ja) 2004-09-15

Similar Documents

Publication Publication Date Title
JP3565723B2 (ja) カラー画像処理装置
US5548330A (en) Image pickup device for generating a corrected luminance signal
US5049989A (en) Method and circuit for reducing the influence of a bright image area in an endoscope image signal
EP2426928A2 (en) Image processing apparatus, image processing method and program
JP2002232906A (ja) ホワイトバランス制御装置
JP3134784B2 (ja) 画像合成回路
EP1178676B1 (en) Method and device for detecting defective pixels of a solid-state colour image-pickup apparatus
JP4153715B2 (ja) 映像信号処理装置及び映像信号処理方法
JP3748031B2 (ja) 映像信号処理装置及び映像信号処理方法
JPH07135599A (ja) 撮像装置とその画像処理方法
JP2000013808A (ja) カラー撮像装置
JP3917733B2 (ja) 電子内視鏡装置
JP2000115792A (ja) カラー画像処理装置
JPH11155108A (ja) 映像信号処理装置と処理方法、それを用いたビデオカメラ
JP2007336172A (ja) 画像信号処理装置及び画像信号処理方法
JP3578246B2 (ja) 固体撮像装置
JP2624686B2 (ja) 画像信号処理装置
JP3384916B2 (ja) 撮像装置
JP3218022B2 (ja) 撮像装置の階調補正装置及び階調補正方法
JPH10294892A (ja) 固体撮像装置
JP2698404B2 (ja) 輝度信号処理装置
JPH04280579A (ja) 撮像信号処理装置におけるスミア補正回路
JP3024815B2 (ja) カラーカメラにおけるハイライト部の色消去方法
JPH04197331A (ja) 電子内視鏡用信号処理回路
KR101008488B1 (ko) 영상신호 처리장치 및 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040608

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees