JP2002218479A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JP2002218479A
JP2002218479A JP2001012301A JP2001012301A JP2002218479A JP 2002218479 A JP2002218479 A JP 2002218479A JP 2001012301 A JP2001012301 A JP 2001012301A JP 2001012301 A JP2001012301 A JP 2001012301A JP 2002218479 A JP2002218479 A JP 2002218479A
Authority
JP
Japan
Prior art keywords
white balance
image
balance processing
processing
correction coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001012301A
Other languages
English (en)
Other versions
JP3706030B2 (ja
Inventor
Takeshi Takeda
岳 竹田
Narihiro Matoba
成浩 的場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2001012301A priority Critical patent/JP3706030B2/ja
Publication of JP2002218479A publication Critical patent/JP2002218479A/ja
Application granted granted Critical
Publication of JP3706030B2 publication Critical patent/JP3706030B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

(57)【要約】 【課題】 撮像動作とAWB処理が同時に行えないた
め、撮影間隔が低下し、表示速度が遅い、高速連写や動
画の撮像時には対応が困難等の課題があった。 【解決手段】 カラー撮像素子の出力を蓄える記憶手段
と、被写体に関わる色情報を検波するホワイトバランス
検波手段と、撮像画面より少なくとも1画面以前の画像
データに基づいてホワイトバランス処理を行う第1ホワ
イトバランス処理手段と、撮像画面の画面データに基づ
いてホワイトバランス処理を行う第2ホワイトバランス
処理手段と、上記第1、第2ホワイトバランス処理手段
の出力を選択する選択手段と、上記各動作条件を設定す
る制御手段とを備えたものである。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、被写体からの光
を電気信号に変換し撮像処理を行うデジタルカメラやデ
ジタルビデオカメラ、顕微鏡等に適応される撮像装置に
関するものである。
【0002】
【従来の技術】CCD等の固体撮像素子を用いて、光を
電気信号に変換し、デジタル信号として信号処理し撮像
する撮像装置は、通信との親和性や使用者が自在に画像
データを加工できる等の理由により急速に普及してい
る。デジタルカメラでは使用者が簡単に高画質な撮像が
できるように、オートホワイトバランス(以下、AWB
と略す)の自動制御機能を備えているものが多い。
【0003】上記AWBは、光源等の変化に対して被写
体の色信号を積算して、それぞれの色の相関をとりホワ
イトバランス(以下、WBと略す)をとるように自動補
正するものである。従来技術として特開平11−261
949号公報に示された図12のような装置がある。
【0004】図13は説明を簡略にするために一回路を
抜粋したものである。図13において、101は撮像レ
ンズ、102は絞り・シャッタ、103はCCD等の撮
像素子、104はCDS・アンプ、105はA/Dコン
バータ、106はメモリ(フイールドメモリ)、107
は切り換えスイッチ、108はクランプ回路、109は
WB回路、110はYC分離回路、111は色処理回
路、112は輝度処理回路、113は色温度検出回路で
ある。
【0005】撮像レンズ101によって集光された光束
は、絞り・シャッタ102によって適切な露光量とさ
れ、撮像素子103上に結像される。撮像素子103か
ら出力された画像データはCDS・アンプ104により
雑音が除去され、A/Dコンバータ105に入力され
る。A/Dコンバータ105により量子化された画像デ
ータは、メモリ106に書込まれると同時に、切換えス
イッチ107のa側接点を経てクランプ回路108によ
ってさらに雑音が除去される。このクランプ回路108
の出力はWB回路109を通るが、この時は回路内回路
のホワイトバランス係数レジスタが初期値になっている
ため、ホワイトバランス処理は行われない。
【0006】ついで、WB回路109の出力はYC分離
回路110により輝度信号と色信号に分割され、色処理
回路111の中間で生成される色差信号が、画像が撮影
された時の光源の色温度情報を検出するための色温度検
出回路113に入力される。色温度検出回路113は色
差信号を積分しCPU(図示せず)が読取り演算するこ
とでWB補正係数が算出される。この係数はWB回路1
09に設定される。
【0007】次に、スイッチ107がb側接点に接続さ
れることにより、メモリ106より画像データが読み出
される。この読出された画像データは、クランプ回路1
08を経てWB回路109に送られ、上記設定されたW
B補正係数に従って色フィルタ毎に補正され、ホワイト
バランスを行っている。
【0008】
【発明が解決しようとする課題】従来の撮像装置は以上
のように構成されているので、画像データをメモリ10
6に一旦収納し、その後、WB制御のために色温度検出
回路113による積分結果からWB補正係数を算出し、
再びメモリから画像データを読出すことでWB処理を行
っていた。このため、撮像動作と色温度検出を同時に行
うことが出来ないため、撮像動作とAWB処理が同時に
行えなかった。これにより、撮影間隔(フィールドレー
ト)が低下し、表示速度が遅くなったり、高速連写や動
画の撮像時には対応が困難であった。さらに、メモリ動
作のための消費電力が増加し携行時のバッテリー消費が
著しいという課題があった。
【0009】この発明は上記のような課題を解消するた
めになされたもので、静止画や高速連写、動画などの様
々な撮像モードにおいても高精度、高速かつ用途に応じ
たオートホワイトバランス制御が可能であり、高品質な
画像を得られ、さらに、低消費電力の撮像装置を得るこ
とを目的とする。
【0010】
【課題を解決するための手段】この発明に係る撮像装置
は、平面上に配列された複数の画素を有し、光学系を介
して撮像した画像データを画素単位で出力するカラー撮
像素子と、このカラー撮像素子の出力を蓄える記憶手段
と、この記憶手段の入力側に配置され被写体に関わる色
情報を検波するホワイトバランス検波手段と、撮像画面
より少なくとも1画面以前の画像データに基づいてホワ
イトバランス処理を行う第1ホワイトバランス処理手段
と、撮像画面の画像データに基づいてホワイトバランス
処理を行う第2ホワイトバランス処理手段と、上記第1
ホワイトバランス処理手段と第2ホワイトバランス処理
手段との出力を選択する選択手段とを備え、制御手段は
上記各手段の動作条件を設定する。
【0011】この発明に係る撮像装置は、第1ホワイト
バランス処理手段と、第2ホワイトバランス処理手段の
いずれかの処理結果を選択してオートホワイトバランス
処理を行うものである。
【0012】この発明に係る撮像装置における第1ホワ
イトバランス処理手段は、撮像動作の確認時と撮像動作
が連続する高速撮像時や動画記録時に用いるものであ
る。
【0013】この発明に係る撮像装置における第2ホワ
イトバランス処理手段は、撮像記録時と静止画記録時に
用いるものである。
【0014】この発明に係る撮像装置における第2ホワ
イトバランス処理手段は、ストロボ使用時に用いるもの
である。
【0015】この発明に係る撮像装置は、第1ホワイト
バランス処理手段と、第2ホワイトバランス制御手段の
演算精度を異ならせたものである。
【0016】この発明に係る撮像装置におけるホワイト
バランス検波手段は、検波域指定手段を有するものであ
る。
【0017】この発明に係る撮像装置における記憶手段
は、ホワイトバランス補正係数を画像データとともに記
憶するものである。
【0018】この発明に係る撮像装置における記憶手段
は、複数の画面を記録する容量を有し、前記各画面に対
応するホワイトバランス補正係数を記憶するものであ
る。
【0019】
【発明の実施の形態】以下、発明の実施の一形態を説明
する。 実施の形態1.図1は、この発明の実施の形態1による
撮像装置の構成を示すブロック図である。図1におい
て、1はROMやRAM等を備えたCPU等の制御手
段、2は電源スイッチやシャッタースイッチ等撮像装置
の動作を設定するオペレーションパネルである。4は撮
像レンズ、5は赤(R)・緑(G)・青(B)の各色信
号を画素単位で出力するCCD等の撮像素子、6は撮像
素子5を駆動するドライバ、7は撮像素子5のアナログ
処理を行うアナログ信号処理回路、8はA/D変換器、
9はアナログ信号処理回路7やA/D変換器8の駆動タ
イミングの制御や画像データに同期した信号を発生させ
るタイミングジェネレータ(以下、TG)である。
【0020】10はA/D変換器8の出力信号に対して
WB処理を行う第1WB処理回路、11は被写体の光源
の変化等による色情報を検波するWB検波手段であるW
B検波回路、12は少なくとも1画面分を収納可能なF
IFOや2ポートRAM等のメモリ、13はメモリ12
の信号出力に対してWB処理を行う第2WB処理回路、
14は第1WB処理回路10と第2WB処理回路13か
らの出力のいずれかを選択する選択手段としてのセレク
タであり、このセレクタ14は手動または撮影モードに
応じた自動選択である。15は補間処理や色変換、フィ
ルター処理等を行う画像処理回路、16はD/A変換器
や表示ディスプレイの駆動制御等やビデオメモリを搭載
した表示処理回路、17は液晶等を用いたディスプレイ
としてのモニタ、18は撮像した画像を記録媒体19に
収納するための記録処理回路、19は磁気記録や光記
録、半導体メモリ等の記録媒体である。
【0021】次に動作について説明する。オペレーショ
ンパネル2上の電源スイッチを押下する。被写体からの
光は撮影レンズ4を通過し撮像素子5上に結像される。
この撮像素子5は、ドライバ6によって駆動され、被写
体に応じた信号を出力する。ドライバ6にはCPU1の
指令によりTG9を通じて所定のタイミングが与えられ
る。撮像素子5の出力のアナログ画像データ信号は、ア
ナログ信号処理回路7によってゲイン調整等の所定のア
ナログ信号処理が施された後、A/D変換器8によって
量子化される。
【0022】A/D変換器8の出力であるデジタル画像
データは、第1WB処理回路10に入力される。第1W
B処理回路10ではWB検波回路11からのWB検波値
に基づいてCPU1によって色毎の補正係数が算出さ
れ、この補正係数に従ってWB処理を行う(このフィー
ドバックループを構成するAWB動作の詳細は後述す
る)。
【0023】また、第1WB処理回路10の出力は同時
にメモリ12に収納される。この収納される過程におい
ても前記のWB検波動作と同様に、WB検波回路11に
よってWB検波値が得られている。このWB検波値に基
づいてCPU1により色毎の補正係数が算出され、第2
WB処理回路13によってメモリ12からの画像データ
読出し時にWB処理がなされる。
【0024】ここで、AWB制御の処理、検波、算出か
ら成るフィードバックループ制御と、第1WB処理及び
第2WB処理について図2,3,4を用いて説明する。
図2は第1WB処理回路10及び第2WB処理回路13
の構成を示すブロック図である。図2において、21は
乗算器であり、A/D変換器8の出力であるR色データ
とCPU1からのR色のWB補正係数を乗算する。2
2、及び23も乗算器であり、同様にそれぞれG色デー
タとG補正係数、B色データとB補正係数を乗算する。
これ等乗算器21,22,23の出力R’データ、G’
データ、B’データがWB処理後の画像データである。
各色毎に個別の補正係数を有し演算処理することでWB
処理を行う。
【0025】なお、A/D変換器8の出力はR,G,B
独立出力であるとしたが、各色のデータがシリアルで得
られる撮像素子5やA/D変換器8では、それぞれの乗
算器の入力側にシリアル−パラレル変換器を用いれば良
い。また、3つの乗算器21〜23を用いるとしたが、
1つの乗算器を使って各色の補正係数をその入力順に順
次切換える構成としても良い。加えて、第1WB処理回
路10及び第2WB処理回路13は乗算器を用いるとし
たが、これはA/D変換器8からの出力とその被写体の
光量(色情報)変化が線形であるためであり、非線型の
関係にあるときはそれに応じた演算器を用いれば良い。
【0026】図3はWB検波であるWB検波回路11の
構成を示すブロック図である。図3において、24は積
分器であり、第1WB処理回路10の乗算器21の出力
であるR’データを積分する。同様に25,26は積分
器であり、それぞれ第1WB処理回路10の乗算器2
2,23の出力であるG’データ、B’データを積分す
る。これらの各色毎の積分器24,25,26の出力が
R色,G色,B色各々のWB処理の補正係数算出に用い
られる検波値である。
【0027】次に図4に示すタイミングチャートを用い
て動作を説明する。フレーム同期信号は”H”のとき撮
像素子5の信号出力が有効であることを示す信号であ
る。#1画面では、WB検波回路11により#1画面の
色毎の検波値が検波される。このとき、第1WB処理回
路10のWB補正係数は所定の初期値を設定しておく
(好ましくは、A/D変換器8の出力データをそのまま
検波するように各色の補正係数を1とする)。
【0028】#1の検波値はCPU1に転送され、CP
U1ではこの検波値を基にWB補正係数を算出する。算
出法は、各色の平均値を検波値より求め、Gを基準にし
た場合、R補正係数Kr、B補正係数Kbは Kr= 平均(R検波値)/平均(G検波値) Kb= 平均(B検波値)/平均(G検波値) (G補正係数Kgはこのとき1)となる。このようにし
て算出されたWB補正係数は、CPU1から第1WB処
理回路10及び第2WB処理回路13に設定される。
【0029】従って、第1WB処理回路10は、次の#
2画面を#1画面の画像データから得られた#1補正係
数を用いてWB処理を行う。次画面以降のWB処理も同
様にn画面のWB処理にn−1画面の画像データから得
られたWB補正係数を用いる。
【0030】他方、第2WB処理回路13の動作は、メ
モリ12の動作と相関し以下のようになる。#1画面で
はフレーム同期信号が”H”のとき、画像データをメモ
リ12に対し書込み動作をなすように、メモリ書込み信
号を”H”にするので、メモリ12には#1画面の画像
データが書込まれる。
【0031】#1画面が終了すると、WB検波回路11
によって各色の検波値が得られる。この検波値より#1
画面のWB係数の算出動作は上記と同様である。#1補
正係数が算出され、この補正計数が第2WB処理回路1
3に設定された後であれば、任意のタイミングでメモリ
12から画像データを読出す(メモリ読出し信号が”
H”)。読出された画像データは#1画面のデータであ
り、WB補正係数も#1画面に基いたものである。従っ
て、第2WB処理回路13は、この#1画面の画像デー
タから得られた補正係数を用いてWB処理を行う。次画
面以降のWB処理も同様にメモリ10の書込み/読出し
制御を行いながら、n画面のWB処理にn画面の補正係
数を用いる。
【0032】この後の動作を図1に戻り説明する。使用
者によるオペレーションパネル2上の設定に従い、セレ
クタ14によってa側接点を選択すると、第2WB処理
回路13によるデータが、また、b側接点を選択する
と、第1WB処理回路10によるデータが選ばれて後段
の画像処理回路15に送出される。画像処理回路15で
は、補間処理や色変換、フィルター処理等の所定の画像
処理がなされる。その後、表示処理回路16によってモ
ニタ17に表示させるため、色信号変換処理、タイミン
グ変換処理、解像度変換処理等の所定の処理を行い、撮
影画面をモニタ17上に表示する。或いは、オペレーシ
ョンパネル2の設定により記録動作指令が発行される
と、記録処理回路18で所定のデータ変換を行い記録媒
体19に記録される。以上のような一連の動作により撮
影を行う。
【0033】第1WB処理回路10と第2WB処理回路
13によるAWB処理の効果例は以下のように区別され
る。まず、第1WB処理回路10を用いる方式は、少な
くとも1画面前の画像データによる処理である。NTS
C準拠を例に挙げると、フレームレートが30Hzと視
覚的には高速であり、また被写体(撮影シーン)のAC
的な1/30秒程度の急峻かつ連続的な画面の変化は実
際ほとんどないために実用上は問題がない。また、撮像
素子5の動作レートがメモリ12の書込みレートより早
い場合に、即ち、高速連続撮影時に有効である。次に、
第2WB処理回路13を用いると、撮影画面の画像デー
タによる処理が可能であるため、高精度なAWB制御効
果を得られる。
【0034】以上のように、この実施の形態1によれ
ば、WB処理回路を2つ有するAWB制御の構成とした
ため、使用者がその意図に応じて最適なAWB処理法を
選択できる効果がある。
【0035】撮像素子5はCCDのみならずCMOSセ
ンサ等を用いても良い。また、イエロー、マゼンタ、シ
アン等の補色系の出力信号が得られるものを用いても良
く、この場合は一旦RGBにデータ変換した後WB処理
を施したり、色差信号からWB補正係数を加減算するこ
とでWB処理を行う。加えて、メモリ12の読出しデー
タに、WB補正係数の算出をCPUで行うとしたが、補
正係数算出をその機能を満たす回路で構成してもよい。
また、WB処理にG色を基準にした補正係数の算出例を
挙げたが基準色はどの色でも構わない。
【0036】なお、この発明はAWB機構に関する撮像
装置であるが、自動露光機能や自動焦点機能を搭載した
撮像装置についても適応可能である。さらに、AWB動
作の収束性は、各色の検波値に基づき意図的に徐々に
(所定の時定数を有して)WB補正係数を変化させても
良い。
【0037】実施の形態2.始めに、用いる撮像素子5
の動作について図5を用いて説明する。 多くの撮像素
子5は、撮影画面の確認用に「ドラフトモード」「モニ
ターモード」等と呼ばれるモニター17の画素数に合わ
せた解像度のデータを出力する(以下、確認モードと称
す)。この時の撮像素子5の出力例を図5に示す。1か
らnまでは走査ラインの番号を表したものである。A)
の撮影モードでは、1からnまでの走査ラインをすべて
出力するのに対し、B)の確認モードでは、1,3,
5..n−2,nというように出力する走査ライン数の
数を減らして、フレームレートを上げている。このよう
にして、全画素の読出しを行わず出力走査ラインを間引
いて出力することで、モニター17の表示レートに応じ
た出力を行っている。このような撮像素子5の動作を用
いる場合には以下の動作を行う。
【0038】図6に示すタイミングチャートを用いて説
明する。電源投入時のモードは確認モードであるとす
る。CPU1は確認モードの動作をなすように、TG9
に所定のコマンドや動作タイミング指令を与える。TG
9は予め設定された走査ラインのみを出力するようにド
ライバ6に指示し撮像素子5を駆動する。撮像素子5か
らは間引かれた画像データがフレーム同期信号に同期し
て出力される。
【0039】この確認モードの#1画面から#3画面の
フレームレートはNTSC準拠の場合30Hzである。
この後、アナログ信号処理回路7から初期係数が設定さ
れた第1WB処理回路10を経てWB検波回路11によ
り検波値が得られる動作は実施の形態1と同様であり、
#n画面終了時に#n画面の検波値が得られ、その検波
値に基づいて第1WB処理回路10により撮影画面(#
n)のWB処理を補正係数(#n−1画面)を用いてA
WB処理を行う。
【0040】このとき、セレクタ14にはCPU1より
b側接点を選択しており、第1WB処理回路10の出力
を後段の画像処理回路15に送出する。画像処理回路1
5で補間処理や色変換フイルタ処理等の所定の処理がな
られた後、表示処理回路16を通しモニタ17に確認モ
ードの画面が表示される。使用者はこのモニタ17の画
面を見ながら好みの撮影画面を確認する。
【0041】#3画面が終了した時点(確認モードの任
意のタイミング)で使用者がオペレーションパネル2上
のシャッターを押下すると、CPU1はTG9に対し撮
像素子5が全画素の読出しを行うように所定の設定を行
うとともに、第1WB処理回路10に各色のWB補正係
数に「1」を設定し、また、メモリ12に画像データを
書込むように書込み信号を出力する。このときの撮影で
は多くの場合、全画素の読出しに時間がかかり確認モー
ドよりもフレームレートが遅くなる。
【0042】フレーム同期信号に同期してメモリ書込み
信号を出力し、WB処理しない画像データがメモリ12
に書込まれると同時に、WB検波回路により撮影画面の
WB検波値が検波されCPU1に送出される。CPU1
ではWB補正係数を算出し、第2WB処理回路13にそ
の補正係数を設定する。
【0043】この後、セレクタ14をa側接点に設定
し、また、メモリ読出し信号を出力して画像データをメ
モリ12から読出す。読出された画像データは第2WB
処理回路13によりWB処理され、画像処理回路15に
送出される。その後、表示処理回路16でモニター17
の解像度に合わせた解像度変換処理等が施されモニタ1
7に映し出される。他方、記録処理回路18で所定のデ
ータ変換が行われ、記録媒体19に画像データが保存さ
れる。その後、再び確認モードに移行し上記と同様な動
作を繰り返して撮像動作を行う。
【0044】このように、確認モードは第1WB処理手
段10によるAWB制御、撮影モードは第2WB処理手
段13によるAWB制御としたため、その撮影モードに
応じたAWB制御が可能な撮像装置を得ることができ
る。たとえば、第1WB処理手段10は、撮像動作の確
認時や高速連写時、動画撮像時に用いる。第2WB処理
手段13は、撮像記録時や静止画記録時に用いられる。
【0045】さらに、確認モード時にはメモリ12や第
2WB処理回路13の動作を止めておくことができ、撮
像モード時では画像データがメモリ12に収納される
と、カメラヘッド3や第1WB処理回路10、WB検波
回路11の動作が不要になり、動作クロックや電源の供
給を止めることができるため、低消費電力の撮像装置が
得られる効果がある。さらに、実施の形態中ではNTS
C準拠の表示方式であったが、PAL方式等はもとよ
り、より高速な表示レートにも対応することが可能であ
る。
【0046】さらに、ストロボ(図示しない)を使った
撮影時には、以下のような効果がある。ストロボ撮影時
には、CPU1によってセレクタ14でa側接点を選択
しておき、メモリ12と第2AWB処理回路13による
AWB制御を行うようにする。このようにすることで、
例えば、連続撮影時の間のストロボ発光した画面では常
に自画面でのWB補正係数を用いてAWB制御を行うこ
とができるので、高画質な撮像画面を得ることが可能な
撮像装置を得られる効果がある。
【0047】つまり、ストロボ撮影時には、第2WB処
理回路を選択するように設定しておくことで、従来では
ストロボ撮影時にはダミーのストロボ発光をさせてWB
係数を算出した後、撮影のための本発光を行うが、この
発明はダミーのストロボ発光はさせなくともよいもので
ある。
【0048】以上のように、実施の形態2によれば、撮
影モードにおいてメモリに画像データ書込み後、すぐメ
モリ読出しを行うとしたが、この読出し動作は任意のタ
イミングで行えばよく、メモリ書込み動作の後すぐに確
認モードに移行し、例えば、被写体の所定の事象が起こ
らなくなった後等にメモリ読出しを行って記録媒体19
に記録しても良い。
【0049】また、上記実施の形態1及び実施の形態2
では第1WB処理回路10及び第2WB処理回路13を
同一な構成としたが、これらの演算精度を異ならせても
良い。例えば、A/D変換器8の量子化精度が8bit
であるとする。このとき、CPU1から算出されたWB
補正係数は8ビットである。第1WB処理10の乗算器
の構成を8bit×4bitとし、後者の4bitがW
B補正係数である。第2WB処理回路13の乗算器構成
は8bit×8bitとし、後者の8bitがWB補正
係数である。この補正係数のビット数の違いは、小数点
の位置が違うものである。図7に上記のWB補正係数の
構成図を示す。第1WB処理回路10の補正係数は小数
点位置(.)がLSBから2ビットと3ビットの間にあ
り、一方、第2WB処理回路13の小数点位置は、LS
Bから5ビットと6ビットの間にある。
【0050】従って、各WB処理回路でのWB補正範囲
は2進法→10進法の計算をすると以下のようになる。 第1WB処理回路 ‥ 0〜3.75 第2WB処理回路 ‥ 0〜3.96875 CPU1ではWB検波回路11の検波結果から、少なく
とも8ビットのWB補正係数を算出し、第1WB処理回
路10には8ビットの補正係数から、下位4ビットを切
り捨て、4ビットの補正係数として第1WB処理回路1
0に設定する。第2WB処理回路には8ビットの補正係
数を設定しWB処理を行う。ここで、両者の違いは、第
2WB処理回路13を用いると、より高精度のWB処理
を行える。他方、第1WB処理回路10は演算器の構成
が簡易であり、より高速なWB処理を行える。
【0051】このように、WB処理手段の演算精度を異
ならせたため、用途に応じたWB精度を選択できること
が可能となり、また、回路規模を小さくできるととも
に、低コストの撮像装置が得られるという効果がある。
【0052】上記のビット数、及び小数点等の位置は任
意であり、WB処理に十分な精度が得られば何ビットで
も構わない。また、第1WB処理回路10の方が演算精
度が高くてもよい。さらに、小数回路を用いない整数回
路だけの演算などにも適応できることは言うまでもな
い。
【0053】実施の形態3.また、WB検波回路を図8
のような構成にしてもよい。30はWB検波回路であ
り、31はカウンタとコンパレータ等から構成される検
波域を指定する検波域指定回路、32は動作イネーブル
入力を有するR積分器であり、第1WB処理回路10の
乗算器21の出力であるR’データを積分し、R色のW
B検波値を得る。同様に33,34はG積分器、B積分
器であり、それぞれ乗算器22,23の出力であるG’
データ、B’データを積分しG色、B色のWB検波値が
得られる。
【0054】動作について説明する。撮影モードでは、
出力走査ラインに同期したライン同期信号LGがTG9
より出力される。このとき、CPU1より予め確認モー
ドにおける間引き情報を比較値として検波域指定回路3
1に設定しておく。LG信号をカウンタでカウントし、
このカウント値を前記比較値と比較する。比較値は動作
イネーブル信号ENとなって積分器32,33,34へ
出力される。従って、撮像素子5の確認モードにおける
出力走査ラインのみを検波することになる。各積分器で
得られた検波値はCPU1へデータバス線を通じて転送
する。
【0055】確認モードでは、TG9に所定の設定をす
ることにより、間引かれた走査ラインが撮像素子5から
出力される。検波域指定回路31は、常にこのLG信号
をEN信号として出力する。従って、TG9からのLG
信号に同期して積分器32,33,34が動作し、各色
毎の検波値が得られる。
【0056】このときの様子を図9に示す。図9におい
て、A)は撮影モード、B)は確認モード時における撮
像素子5の出力と、検波対象走査ラインの関係を示した
図である。A)では、走査ラインが1から順に出力され
ているのに対し、矢示する検波対象ラインはB)の出力
走査ラインと一致するように検波域指定回路31を制御
している。従って、撮影モードと確認モードでは、同一
の走査ライン出力を用いてAWB制御を行うことが可能
である。
【0057】以上のように、実施の形態3によれば、検
波域指定回路31を設け、撮像モードが異なっても同一
出力画素を検波してAWB制御を行うようにしたため、
撮像モード間でのAWB制御を一致させることができ、
違和感のない撮像画面が得られる効果がある。
【0058】また、実施の形態3では、走査ラインの間
引き方法は上記の限りではなく、間引き間隔は任意であ
り、また、走査第1ラインから第10ラインまでのみを
出力するといったブロック単位の出力方法でもよい。さ
らに、走査ライン(垂直方向)の間引きに対応するもの
であったが、図10(A)に示すライン中の画素(水平
方向)を間引いて図10(B)に示すように出力する方
式にも適応可能である。
【0059】実施の形態4.以下、この発明の実施の形
態4を図1、図11に従って説明する。図11はこの実
施の形態4におけるメモリ12の内部を示す図である。
メモリ12は、アドレス空間0〜Nまでは撮影した画像
データの有効画素を収納する領域である。40はN+1
アドレスに収納されるR色のWB補正係数、41はN+
2アドレスのG色のWB補正係数、42はN+3アドレ
スのB色のWB補正係数である。
【0060】WB検波回路11からCPU1によって各
色のWB補正係数を算出する動作はこれまでの実施の形
態と同一である。画像データがメモリ12のN番目アド
レスまで収納されると、CPU1によって算出されたW
B補正係数は第2WB処理回路13に設定されると同時
に、CPU1によってメモリ12のN+1アドレスにそ
のR色のWB補正係数40を書込む。同様にN+2アド
レスにはG色のWB補正係数41、N+3アドレスには
B色のWB補正係数42を書きこむ。
【0061】このようにすることで、メモリ12には画
像データに対応したWB補正係数が存在する。次に、任
意のタイミングでメモリ12に収納されたデータを順次
読出し、第2WB処理回路13によるWB処理、セレク
タ14を経て、画像処理回路15による所定の画像処理
が施される。メモリ12のN番目アドレスのデータが読
出されると、CPU1は第2AWB処理回路13と画像
処理処理15に対し動作を中止する指令を出す。正確に
は、各処理回路の入力データと出力データが等しくなる
ように、例えば、データのバイパス動作指令を発行す
る。
【0062】この後、CPU1によりN+1アドレスか
らN+3アドレスに収納された各色のWB補正係数40
〜42を読出す。読出されたWB補正係数も同様に第2
WB処理回路13及び画像処理回路15に入力される
が、これらはバイパス動作に設定されているため、無処
理のまま表示処理回路16及び記録処理回路18に入力
される。表示処理回路16では、画像データの表示処理
が行われるが、前記のWB補正係数は有効画素の範囲外
であるのでモニタ17には表示されない。記録処理回路
18では、画像データとともに前記WB補正係数を記録
媒体19に書込む。従って、被写体の画像データとその
WB補正係数を同時に記録することができる。
【0063】以上のように、実施の形態4によれば、メ
モリ12上に被写体に応じたWB補正係数を保存できる
ようにしたため、使用者がパーソナルコンピュータ等を
用いて自在に画像の加工をする際に、その目安となるW
B係数を参照することが可能な使い勝手のよい撮像装置
を得ることができる。
【0064】また、実施の形態4では、記録媒体19に
WB補正係数を記録する際、WB処理回路13と画像処
理回路15を通過するとしたが、メモリ12から記録処
理回路18までの専用データ線を設け、WB補正係数を
書込む際にはこの専用データ線に切換えてから、WB補
正係数を記録しても良い。また、WB補正係数を収納す
る位置は、任意であり上記の限りではない。
【0065】実施の形態5.また、メモリ12が複数画
面の容量を有するときには、さらに効果的に用いること
ができる。このときのメモリを示す構成図を図12に示
す。図中の同一番号は図11と同一相当である。N+4
アドレスからは2画面(#2)の画像データが収納され
る。この#2画像データの収納範囲はN+mアドレスま
でである。N+m+1アドレスには#2画面のR色のW
B補正係数43、N+m+2アドレスにはG色のWB補
正係数44、N+m+3アドレスにはB色のWB補正係
数45が収納される。
【0066】次に、動作について説明する。簡便のため
2画面分の撮像動作について説明する。まず、#1画面
がNアドレスまで収納され、N+1からN+3アドレス
までに#1画面のWB処理係数が収納される動作は上記
と同一である。#1画面のWB処理係数がメモリ12収
納された後、#2画面をメモリ12に収納する。このと
きの画像データはN+4アドレスから順次収納される。
N+mアドレスまでに画像データが収納されると、CP
U1は#2画面のWB補正係数を算出し、N+m+1ア
ドレスにR色のWB補正係数43を書込む。同様に、N
+m+2アドレスにはG色のWB補正係数44、N+m
+3アドレスにはB色のWB補正係数45を書込む。
【0067】この後、CPU1はNアドレスを参照し、
#1画面のR色のWB補正係数40を第2WB処理回路
13に設定する。同様に、N+1及びN+2アドレスの
それぞれ、G色のWB補正係数41、B色のWB補正係
数42を読出して第2WB処理回路13に設定する。次
に、メモリ12の0アドレスから順次#1画面を読出し
て、第2WB処理回路13及び画像処理回路15に転送
しそれぞれの処理を行って、モニタ17に表示若しくは
記録媒体19に記録する。また、WB補正係数をも記録
媒体19に記録する。上記の動作終了後、CPU1はN
+m+1からN+m+3アドレスを参照し、#2画面の
WB補正係数43〜45を第2WB処理回路13に設定
し、上記と同様に処理を繰り返して撮像動作を行う。
【0068】以上のように、実施の形態5によれば、複
数画面を収納できるメモリ12に、画像データとそれに
対応するWB補正係数を収納できるようにしたため、撮
影が連続する(連写)時にも、画像データとWB処理係
数の関係を保持するレジスタやフラッシュメモリ等を別
に設けることが不要になり、低回路規模の撮像装置を得
られる効果がある。また、使用者が撮影データとWB補
正係数の関係を把握する必要がなくなり、より使い勝手
のよい撮像装置を得られる。
【0069】
【発明の効果】以上のように、この発明によれば、カラ
ー撮像素子の出力を蓄える記憶手段と、被写体に関わる
色情報を検波するホワイトバランス検波手段と、撮像画
面より少なくとも1画面以前の画像データに基づいてホ
ワイトバランス処理を行う第1ホワイトバランス処理手
段と、撮像画面の画像データに基づいてホワイトバラン
ス処理を行う第2ホワイトバランス処理手段とを備えた
構成としたので、静止画や高速連写、動画等の撮影モー
ドにおいて、高精度、高速かつ用途に応じたオートホワ
イトバランス制御が可能で、高品質な画像が得られる等
の効果が得られる。
【0070】この発明によれば、第1ホワイトバランス
処理手段と、第2ホワイトバランス処理手段のいずれか
の処理結果を選択してオートホワイトバランス処理を行
うように構成したので、使用者がその意図に応じて最適
なオートホワイトバランス処理法を選択できるという効
果が得られる。
【0071】この発明によれば、第1ホワイトバランス
処理手段は、撮像動作の確認時と撮像動作が連続する高
速撮像時や動画記録時に用いるように構成したので、高
速連続撮影時におけるホワイトバランス処理に有効であ
る。
【0072】この発明によれば、第2ホワイトバランス
処理手段は、撮像記録時と静止画記録時に用いるように
構成したので、撮影画面の画像データによる処理が可能
であり、高精度なホワイトバランス処理効果が得られ
る。
【0073】この発明によれば、第2ホワイトバランス
処理手段は、ストロボ使用時に用いるように構成したの
で、高画質な撮影画面を得ることが可能な効果が得られ
る。
【0074】この発明によれば、第1ホワイトバランス
処理手段と、第2ホワイトバランス制御手段の演算精度
を異ならせるように構成したので、用途に応じたホワイ
トバランス精度を選択することが可能となる。また、回
路規模を小さくできるとともに、低コストを達成するこ
とができる効果がある。
【0075】この発明によれば、ホワイトバランス検波
手段は、検波域指定手段を有するように構成したので、
撮影モード間でのホワイトバランス制御を一致させるこ
とができ、違和感のない撮像画面が得られる効果があ
る。
【0076】この発明によれば、記憶手段は、ホワイト
バランス補正係数を画像データとともに記憶するように
構成したので、使用者はパーソナルコンピュータ等を用
いて自在に画像の加工をする際に、その目安となるホワ
イトバランス係数を参照することが可能な使い勝手のよ
い撮像装置を得ることができる効果がある。
【0077】この発明によれば、記憶手段は、複数の画
面を記録する容量を有し、前記各画面に対応するホワイ
トバランス補正係数を記憶するように構成したので、撮
影が連続する(連写)時にも、画像データとWB処理係
数の関係を保持するレジスタやフラッシュメモリ等を別
に設けることが不要になり、低回路規模の撮像装置を得
られる効果がある。また、使用者が撮影データとWB補
正係数の関係を把握する必要がなくなり、より使い勝手
のよい撮像装置を得られる効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による撮像装置を示
す構成図である。
【図2】 この発明の実施の形態1によるWB処理回路
を示す構成図である。
【図3】 この発明の実施の形態1によるWB検波回路
を示す構成図である。
【図4】 この発明の実施の形態1によるタイミングチ
ャート図である。
【図5】 この発明の実施の形態2による撮像素子の出
力を示す図である。
【図6】 この発明の実施の形態2によるタイミングチ
ャート図である。
【図7】 この発明の実施の形態2によるWB補正係数
を示す図である。
【図8】 この発明の実施の形態3によるWB検波回路
を示す図である。
【図9】 この発明の実施の形態3によるWB検波域を
示す図である。
【図10】 この発明の実施の形態3による走査ライン
の間引き方法の説明図である。
【図11】 この発明の実施の形態4によるメモリを示
す図である。
【図12】 この発明の実施の形態5によるメモリを示
す図である。
【図13】 従来の撮像装置を示す構成図である。
【符号の説明】
1 CPU、2 オペレーションパネル、3 レンズ、
5 撮像素子、8 A/D変換器、10 第1WB処理
回路、11 WB検波回路、12 メモリ、13 第2
WB処理回路、14 セレクタ、15 画像処理回路、
17 モニタ、18 記録処理回路、19 記録媒体、
21,22,23 乗算器、24,25,26 積分
器、30 WB検波回路、31 検波域指定回路、3
2,33,34 積分器、40 R用WB補正係数、4
1 G用WB補正係数、42 B用WB補正係数、43
R用WB補正係数、44 G用WB補正係数、45
B用WB補正係数。
フロントページの続き Fターム(参考) 2H002 DB02 DB17 EB09 GA33 HA01 HA06 JA07 JA08 5C065 AA01 AA03 BB02 BB38 CC01 DD02 GG18 GG23 GG24 GG30 5C066 AA01 CA08 DD07 EA14 EC01 GA01 HA03 KD06 KE03 KE09 KE11 KE17 KE19 KM02

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 平面上に配列された複数の画素を有し、
    光学系を介して撮像した画像データを画素単位で出力す
    るカラー撮像素子と、 上記カラー撮像素子の出力を蓄える記憶手段と、 上記記憶手段の入力側に配置され被写体に関わる色情報
    を検波するホワイトバランス検波手段と、 撮像画面より少なくとも1画面以前の画像データに基づ
    いてホワイトバランス処理を行う第1ホワイトバランス
    処理手段と、 撮像画面の画面データに基づいてホワイトバランス処理
    を行う第2ホワイトバランス処理手段と、 上記第1ホワイトバランス処理手段と第2ホワイトバラ
    ンス処理手段との出力を選択する選択手段と、 上記各手段の動作条件を設定する制御手段と、を備えた
    撮像装置。
  2. 【請求項2】 上記第1ホワイトバランス処理手段と、
    第2ホワイトバランス処理手段のいずれかの処理結果を
    選択してオートホワイトバランス処理を行うことを特徴
    とする請求項1記載の撮像装置。
  3. 【請求項3】 上記第1ホワイトバランス処理手段は、
    撮像動作の確認時と撮像動作が連続する高速撮像時や動
    画記録時に用いることを特徴とする請求項1または請求
    項2記載の撮像装置。
  4. 【請求項4】 上記第2ホワイトバランス処理手段は、
    撮像記録時と静止画記録時に用いることを特徴とする請
    求項1または請求項2記載の撮像装置。
  5. 【請求項5】 上記第2ホワイトバランス処理手段は、
    ストロボ使用時に用いることを特徴とする請求項1また
    は請求項2記載の撮像装置。
  6. 【請求項6】 上記第1ホワイトバランス処理手段と、
    第2ホワイトバランス制御手段の演算精度を異ならせた
    ことを特徴とする請求項1から請求項4のうちのいずれ
    か1項記載の撮像装置。
  7. 【請求項7】 上記ホワイトバランス検波手段は、検波
    域指定手段を有することを特徴とする請求項1から請求
    項5のうちのいずれか1項記載の撮像装置。
  8. 【請求項8】 上記記憶手段は、ホワイトバランス補正
    係数を画像データとともに記憶することを特徴とする請
    求項1から請求項6のうちのいずれか1項記載の撮像装
    置。
  9. 【請求項9】 上記記憶手段は、複数の画面を記録する
    容量を有し、前記各画面に対応するホワイトバランス補
    正係数を記憶することを特徴とする請求項1から請求項
    6のうちのいずれか1項記載の撮像装置。
JP2001012301A 2001-01-19 2001-01-19 撮像装置 Expired - Lifetime JP3706030B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001012301A JP3706030B2 (ja) 2001-01-19 2001-01-19 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001012301A JP3706030B2 (ja) 2001-01-19 2001-01-19 撮像装置

Publications (2)

Publication Number Publication Date
JP2002218479A true JP2002218479A (ja) 2002-08-02
JP3706030B2 JP3706030B2 (ja) 2005-10-12

Family

ID=18879331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001012301A Expired - Lifetime JP3706030B2 (ja) 2001-01-19 2001-01-19 撮像装置

Country Status (1)

Country Link
JP (1) JP3706030B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003032630A1 (fr) * 2001-10-03 2003-04-17 Sony Corporation Imageur et procede de correction de qualite
JP2004159183A (ja) * 2002-11-07 2004-06-03 Canon Inc 撮像装置
JP2005109705A (ja) * 2003-09-29 2005-04-21 Mitsubishi Electric Corp 撮像処理装置
JP2007251954A (ja) * 2007-03-23 2007-09-27 Canon Inc 撮像装置及び撮像方法
JP2010157904A (ja) * 2008-12-26 2010-07-15 Canon Inc 撮像装置及び撮像装置の制御方法
KR101208602B1 (ko) 2010-06-22 2012-12-06 엘지이노텍 주식회사 카메라 모듈
JP2014204308A (ja) * 2013-04-05 2014-10-27 リコーイメージング株式会社 撮像装置および撮像方法
JP2020061743A (ja) * 2014-03-17 2020-04-16 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 非白色光の一般的な照明装置を含む手術システム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116143A (ja) * 2001-10-03 2003-04-18 Sony Corp 撮像装置および画質補正方法
US7262793B2 (en) 2001-10-03 2007-08-28 Sony Corporation Imager and image quality correcting method performing correction based on the output of different readout modes
WO2003032630A1 (fr) * 2001-10-03 2003-04-17 Sony Corporation Imageur et procede de correction de qualite
US7671896B2 (en) 2002-11-07 2010-03-02 Canon Kabushiki Kaisha Image sensing apparatus
JP2004159183A (ja) * 2002-11-07 2004-06-03 Canon Inc 撮像装置
JP2005109705A (ja) * 2003-09-29 2005-04-21 Mitsubishi Electric Corp 撮像処理装置
JP4590421B2 (ja) * 2007-03-23 2010-12-01 キヤノン株式会社 撮像装置及び撮像方法
JP2007251954A (ja) * 2007-03-23 2007-09-27 Canon Inc 撮像装置及び撮像方法
JP2010157904A (ja) * 2008-12-26 2010-07-15 Canon Inc 撮像装置及び撮像装置の制御方法
KR101208602B1 (ko) 2010-06-22 2012-12-06 엘지이노텍 주식회사 카메라 모듈
JP2014204308A (ja) * 2013-04-05 2014-10-27 リコーイメージング株式会社 撮像装置および撮像方法
JP2020061743A (ja) * 2014-03-17 2020-04-16 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 非白色光の一般的な照明装置を含む手術システム
US10932649B2 (en) 2014-03-17 2021-03-02 Intuitive Surgical Operations, Inc. Surgical system including a non-white light general illuminator
JP2022009679A (ja) * 2014-03-17 2022-01-14 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 非白色光の一般的な照明装置を含む手術システム
JP7005581B2 (ja) 2014-03-17 2022-01-21 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 非白色光の一般的な照明装置を含む手術システム
JP7296437B2 (ja) 2014-03-17 2023-06-22 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 非白色光の一般的な照明装置を含む手術システム
US11759093B2 (en) 2014-03-17 2023-09-19 Intuitive Surgical Operations, Inc. Surgical system including a non-white light general illuminator

Also Published As

Publication number Publication date
JP3706030B2 (ja) 2005-10-12

Similar Documents

Publication Publication Date Title
JP2001169160A (ja) デジタルカメラおよびデジタルカメラにおける画像表示方法
JP3798544B2 (ja) 撮像制御装置および撮像制御方法
JP2004328117A (ja) ディジタルカメラおよび撮像制御方法
JP4616429B2 (ja) 画像処理装置
JP2001275028A (ja) デジタルカメラ
JP3706030B2 (ja) 撮像装置
JP4123352B2 (ja) 動画撮像装置及び動画再生装置
JP4033456B2 (ja) デジタルカメラ
JP4349873B2 (ja) デジタルカメラ及び画像データ記録方法
JP4829391B2 (ja) 撮像装置
JP2005033255A (ja) デジタル画像の画像処理方法、デジタルカメラ及びプリントシステム
JP3143245B2 (ja) 撮像装置およびその測光方法およびその合焦制御方法ならびに撮像方法
JP4467232B2 (ja) 画像記録装置及び方法
US7832951B2 (en) Lens unit and digital camera
JP4035263B2 (ja) 撮像装置
JP2007325211A (ja) デジタルカメラ
JP3064948B2 (ja) 画像情報の圧縮率を変更可能な電子カメラ
JPH11308560A (ja) 電子カメラ装置
JP2001136420A (ja) 撮像装置
JP4028396B2 (ja) 画像合成方法及びデジタルカメラ
JP2003324746A (ja) デジタルカメラ
JP2003304543A (ja) 撮像装置
JP2003087647A (ja) デジタルスチルカメラ
JP2008160519A (ja) 撮像装置
JP2003224856A (ja) インタレース転送方式の撮像装置および撮像方法

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20031211

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20040226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050727

R150 Certificate of patent or registration of utility model

Ref document number: 3706030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080805

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100805

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110805

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110805

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120805

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120805

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130805

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term