JP2000224490A - 撮像制御装置および撮像制御方法 - Google Patents
撮像制御装置および撮像制御方法Info
- Publication number
- JP2000224490A JP2000224490A JP11026128A JP2612899A JP2000224490A JP 2000224490 A JP2000224490 A JP 2000224490A JP 11026128 A JP11026128 A JP 11026128A JP 2612899 A JP2612899 A JP 2612899A JP 2000224490 A JP2000224490 A JP 2000224490A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- defective pixel
- unit
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 74
- 238000012545 processing Methods 0.000 claims abstract description 272
- 230000002950 deficient Effects 0.000 claims abstract description 140
- 230000007547 defect Effects 0.000 claims abstract description 50
- 230000004044 response Effects 0.000 claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims description 68
- 238000012937 correction Methods 0.000 claims description 46
- 238000000926 separation method Methods 0.000 claims description 43
- 238000005070 sampling Methods 0.000 claims description 37
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000002093 peripheral effect Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims 1
- 230000000717 retained effect Effects 0.000 claims 1
- 239000004973 liquid crystal related substance Substances 0.000 abstract description 8
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 19
- 230000001276 controlling effect Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 238000009432 framing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
像を得るとともに、その撮影記録前等にモニタするのに
必要な動画像出力の際においても、画素欠陥を補正し
て、良好な動画像を出力する。 【解決手段】 ディジタルカメラ10は、撮像画像をカラ
ー液晶モニタに順次表示する動画モードと、レリーズス
イッチ22への操作に応動して撮像し、その撮像画像を処
理してメモリカード16に記録する静止画モードとを有
し、動画モードでは、アナログ信号処理部28において欠
陥画素に対する前置補間処理を行ない、静止画モードで
はディジタル信号処理部34におけるフレームメモリの記
憶データを演算して欠陥画素に対する補間処理を行な
う。
Description
欠陥画素による傷の現われを低減する撮像制御装置およ
び撮像制御方法に係り、たとえば、撮像画像を表示する
場合および記録する場合の双方にて適切に画素欠陥処理
を行なって、良好な動画像および静止画像を得ることの
できる撮像制御装置および撮像制御方法に関するもので
ある。
光電変換するCCD (Charge Coupled Device) イージセン
サなどの固体撮像素子を備えたディジタルカメラが知ら
れている。たとえば、静止画像を記録媒体に記録可能な
ディジタルスチルカメラでは、撮像した静止画像を圧縮
符号化し、符号化データを所定の形式に変換し、フラッ
シュメモリなどにて構成されるメモリカードに記録する
機能を有し、約130 万画素程度の高画素密度にて静止画
像を記録可能になってきている。
な本撮影および記録に先立って撮像素子にて得られる各
フレームの映像を順次液晶表示パネルに表示させ、画角
合わせ(フレーミング)、露出・焦点調節および補助発
光等の撮像調節を、表示される映像をモニタしながら行
なうと便利である。
信号には、画素を形成する各セルの一部に受光量に応じ
た電荷を生成することができない画素や暗電流の不均一
によるノイズが規定値以上に発生してしまう画素などの
いわゆる欠陥画素が製造上含まれ、欠陥画素は、その画
像信号を表示させた際に白きず、黒きずもしくは変調性
のきずとなって撮像画像に現われて画像品質を著しく低
下させる。
正方式として、たとえば特開平7-143403号公報に記載の
ビデオカメラ装置では、欠陥画素のレベルと閾値との大
小に応じて、前置補間処理後の出力にローパスフィルタ
による処理を加えたり、ローパスフィルタのみによる補
正処理を行なうようにするものであった。
デオカメラ装置は、動画像を撮像記録するビデオカメラ
であり、静止画像を撮像記録する際の補正処理について
は考慮されていなかった。たとえば、上述のディジタル
スチルカメラでは、高解像度の静止画像を撮影して記録
することが求められており、精密な画素欠陥補正処理を
行なう必要がある。この場合、処理する画素数が多くな
ってきているため、静止画像に対する補正処理に充分な
処理時間を要する。
では、フレーミング等を行なうために撮像映像をほぼリ
アルタイムに表示出力する必要があるので、静止画像に
対する画素欠陥処理と同様の処理時間をかけて行なうこ
とは困難であった。つまり静止画像に対する画素欠陥処
理と同等の処理を行なった場合には、間欠的なフレーム
に対してしか処理することができず、このためコマ落ち
が増大して連続的な動画像を表示することができず、撮
影前のフレーミングを決定するモニタ表示としては使い
勝手が悪くなってしまう。このためメモリーカードに記
録されるスチル画像に対しては適切な画素欠陥補正がな
されるが、ムービーモード動作時には欠陥補正処理が行
なわれず、液晶表示パネルに欠陥画素が輝点または暗点
のようにきずとして表示されてしまい、良好なモニタ表
示が得られないという問題があった。
し、撮像素子の画素欠陥を補正して良好な静止画像を得
るとともに、その撮影記録前等にモニタするのに必要な
動画像出力の際においても、画素欠陥を補正して、良好
な動画像を出力することのできる撮像制御装置および撮
像制御方法を提供することを目的とする。
決するために、撮像レンズにより結像される光学像を光
電変換して出力する撮像手段からの出力画像信号を入力
して、画像信号に応じた動画像および静止画像を出力す
る撮像制御装置において、この装置は、撮像信号を処理
する信号処理手段と、撮像手段における欠陥画素に関す
る欠陥情報を格納する格納手段と、信号処理手段にて処
理された画像信号を動作モードに応じて出力する出力手
段と、撮像手段、信号処理手段および出力手段を制御し
て、動画像を出力する動画モードと、静止画像を記録す
る静止画モードとの動作モードを設定する制御手段であ
って、設定に応じて各部を駆動して、画像信号に応じた
動画像を出力させ、画像信号に応じた静止画像を記録媒
体に記録させる制御手段とを含み、制御手段は、欠陥情
報に基づいて画像信号における欠陥画素を認識し、認識
結果に応じて信号処理手段を制御し、信号処理手段は、
制御手段からの制御に応動して、静止画モードでは、欠
陥画素の周辺画素値に基づいて欠陥画素位置における画
素値を演算し、演算結果を欠陥画素の画素値として置き
換えて出力手段に出力し、動画モードでは、欠陥画素を
前置補間する信号処理を行なって出力手段に出力するこ
とを特徴とする。
に、撮像レンズにより結像される光学像を光電変換して
出力する撮像手段からの出力画像信号を入力して、画像
信号に応じた動画像および静止画像を出力する撮像制御
装置において、この装置は、撮像信号を処理する信号処
理手段と、撮像手段における欠陥画素に関する欠陥情報
を格納する格納手段と、信号処理手段にて処理された画
像信号を動作モードに応じて出力する出力手段と、撮像
手段、信号処理手段および出力手段を制御して、動画像
を出力する動画モードと、静止画像を記録する静止画モ
ードとの動作モードを設定する制御手段であって、設定
に応じて各部を駆動して、画像信号に応じた動画像を出
力させ、画像信号に応じた静止画像を記録媒体に記録さ
せる制御手段とを含み、制御手段は、欠陥情報に基づい
て画像信号における欠陥画素を認識し、認識結果に応じ
て信号処理手段を制御し、信号処理手段は、制御手段か
らの制御に応動して、静止画モードでは、欠陥画素の周
辺画素値に基づいて欠陥画素位置における画素値を演算
し、演算結果を欠陥画素の画素値として置き換えて出力
手段に出力し、動画モードでは、画像信号を処理する信
号処理の程度を静止画モードにおける信号処理の程度よ
りも低減させて欠陥画素による影響を低減した画像信号
を出力手段に出力することを特徴とする。
に、撮像レンズにより結像される光学像を光電変換して
出力する撮像手段からの出力画像信号を入力して、画像
信号に応じた動画像および静止画像を出力する撮像制御
方法において、この方法は、撮像手段における欠陥画素
に関する欠陥情報を格納しておく格納工程と、撮像信号
を処理する信号処理工程と、信号処理工程にて処理され
た画像信号を動作モードに応じて出力する出力工程と、
撮像工程、信号処理工程および出力工程における処理を
制御し、動画像を出力する動画モードと、静止画像を記
録する静止画モードとの動作モードを設定する制御工程
であって、設定に応じて画像信号に応じた動画像を出力
させ、画像信号に応じた静止画像を記録媒体に記録させ
る制御工程とを含み、制御工程は、欠陥情報に基づいて
画像信号における欠陥画素を認識し、認識結果に応じて
信号処理工程における処理を制御し、信号処理工程は、
制御工程による制御に応動して、静止画モードでは、欠
陥画素の周辺画素値に基づいて欠陥画素位置における画
素値を演算し、演算結果を欠陥画素の画素値として置き
換え、動画モードでは、欠陥画素を前置補間する信号処
理を行なうことを特徴とする。
に、撮像レンズにより結像される光学像を光電変換して
出力する撮像手段からの出力画像信号を入力して、画像
信号に応じた動画像および静止画像を出力する撮像制御
方法において、この方法は、撮像手段における欠陥画素
に関する欠陥情報を格納しておく格納工程と、撮像信号
を処理する信号処理工程と、信号処理手段にて処理され
た画像信号を動作モードに応じて出力する出力工程と、
撮像工程、信号処理工程および出力工程における処理を
制御し、動画像を出力する動画モードと、静止画像を記
録する静止画モードとの動作モードを設定する制御工程
であって、設定に応じて各部を駆動して、画像信号に応
じた動画像を出力させ、画像信号に応じた静止画像を記
録媒体に記録させる制御工程とを含み、制御工程は、欠
陥情報に基づいて画像信号における欠陥画素を認識し、
認識結果に応じて信号処理手段における処理を制御し、
信号処理工程は、制御工程による制御に応動して、静止
画モードでは、欠陥画素の周辺画素値に基づいて欠陥画
素位置における画素値を演算し、演算結果を欠陥画素の
画素値として置き換えて出力し、動画モードでは、画像
信号を処理する信号処理の程度を静止画モードにおける
信号処理の程度よりも低減させて欠陥画素による影響を
低減した画像信号を出力することを特徴とする。
よる撮像制御装置の一実施例を詳細に説明する。図1を
参照すると、本発明が適用されたディジタルスチルカメ
ラのブロック図が示され、このディジタルスチルカメラ
10は、撮像レンズ12および撮像素子14によって撮像され
る被写界の撮像信号を処理して、静止画像を表わすデー
タを本体10に着脱可能なメモリカード16に記録する撮像
装置である。このカメラ10は、被写界を連続的に撮像し
てその動画像を表わすデータを生成し、撮像画像に応じ
た映像をカラー液晶モニタ18に順次表示するムービー機
能を有している。
像を静止画符号化処理してメモリカード16に記録する静
止画モードと、複数の撮像画像を連続的にモニタ18に表
示させてファインダ機能を実現する動画モードとを有
し、操作部20に備えられたレリーズスイッチ22がオン状
態に操作されると静止画モードが設定されて、静止画像
の撮影および記録を行ない、操作部20の表示スイッチ24
が操作されるか、動画像信号を出力する出力端子42に外
部モニタ等の表示装置が接続されると動画モードが設定
される。本カメラ10では、動画モードにおいてモニタ18
に撮像映像が順次表示されることにより、撮影記録前の
被写界画像を連続的な動画像によってフレーミングおよ
びフォーカシング等の撮影調節をすることが可能とな
る。撮影者によるレリーズ操作に応じた静止画モードで
は、動画モードにてフレーミングされた後に撮像される
1コマもしくは複数コマの高解像静止画像を処理してメ
モリカード16に記録する。このカメラ10は、とくに、撮
像素子14にて発生する欠陥画素を上記動画および静止画
の各モードに応じた処理にて適切に補正し、補正された
画像を記録または表示させるカメラである。なお、以下
の説明において本発明に直接関係のない部分は、図示お
よびその説明を省略し、また、信号の参照符号はその現
われる接続線の参照番号で表わす。
像レンズ12により結像される被写界像を電気信号に変換
する撮像素子14を備え、撮像素子14の撮像面には、たと
えば図2にその一部を示すようにGストライプR/B完
全市松配列の原色フィルタ15が被着されている。撮像素
子14は、約130 万〜150 万画素の高画素密度を有するイ
ンターライン転送CCD 撮像素子が適用され、撮像素子14
は、画素を形成するフォトダイオードを水平および垂直
方向に複数配列した感光部と、各フォトダイオードにて
生成される電荷を垂直方向に転送する垂直転送CCD と、
各垂直転送CCDから転送される電荷を転送する水平転送C
CD と、水平転送CCD にて転送される電荷を電気信号に
変換して出力する出力アンプとを含む二次元イメージセ
ンサである。
が含まれ、その欠陥の程度により、きずレベルが他の正
常な画素のよりも大きい画素を欠陥画素として取り扱
う。欠陥画素の位置を特定する座標データは、撮像素子
14の製造メーカから供給され、この座標データは後述の
制御部36に接続された座標メモリ48に格納されている。
これに限らず、撮像素子14を本カメラ10に組み込む際な
どに欠陥画素を独自に判別して、その位置を示す座標デ
ータを座標メモリ48に作成してもよい。
信号に応動して駆動されて、色フィルタ15を介してフォ
トダイオードに到達する光の量およびその露光時間に応
じた電荷をそれぞれ生成し、電荷に応じた電気信号をRG
B 点順次の撮像信号として出力102に出力する。本実施
例における撮像素子14は、動画モードでは、供給される
駆動信号100 に応動して、各画素を水平および垂直方向
に1/2 に間引きし、モニタ表示可能なたとえば縦横640
×460 画素のRGB 画素信号を読み出して2フィールドで
1フレームを構成する動画像信号を出力102 に出力す
る。また、静止画モードでは全画素読出しを行なって有
効画素が縦横1280×1024画素のRGB 画素信号をフレーム
ごとに出力する。このように本実施例では、モードに応
じて撮像素子14の駆動を変えて間引きしたモニタ表示用
の動画像を高速に出力する。しかしこれに限らず、たと
えば全画素を高速に読出可能な場合では後述するディジ
タル信号処理部34にてモニタ画像に適した画像サイズを
作成するための間引き処理を行なってもよい。
リング(CDS) 回路26に接続され、相関二重サンプリング
回路26は、入力102 に入力される撮像信号を、タイミン
グ制御部30より供給される画素クロック104 に同期して
相関二重サンプリングし、撮像素子14の出力信号におけ
るリセットノイズを除去する前置増幅回路である。
グ信号処理部28は、RGB 点順次に入力される撮像信号
を、タイミング制御部30から供給される色分離パルス10
8 に応動して各色成分ごとに3線分離する色分離回路
と、色分離された各色成分信号のレベルを調整する色バ
ランス調整回路およびガンマ補正回路と、3線化された
各色成分信号を一線化するマルチプレクサとを含み、入
力される画素クロックや色分離パルス108 などの制御信
号に応動して、これら調整および補正処理等のアナログ
信号処理を行なう。色分離回路は、さらに、各色成分毎
に分離された原色信号の各画素をサンプリングするスイ
ッチとホールドコンデンサとを各色成分ごとに備えるサ
ンプル・ホールド回路により、動画モードにて点順次に
入力される撮像信号を色分離する際、欠陥画素の処理タ
イミングでタイミング制御部30から供給される色分離パ
ルス108 によって対象欠陥画素のサンプリングを停止
し、ホールドしている画素値、つまり前の画素値を出力
する。なお、静止画モード時における色分離回路は、タ
イミング制御部30より、各色成分の各画素に対して出力
される通常の色分離パルスを受けて、入力される全画素
を順次サンプリングして画像信号を3線化する。
は、欠陥画素の同一色成分の前画素値でその欠陥画素値
を置き換える前置補間機能を有している。アナログ信号
処理部28は、欠陥画素を前置補間した各RGB 信号を、た
とえば1水平走査期間ごとに色成分を切り換えて一線化
した後、出力110 に接続されたA/D 変換処理部32に線順
次に供給する。
御部30は、制御部36にて設定される各モードに応じた各
種クロックおよび駆動信号を発生して各部に供給する。
このタイミング制御部30は、制御部36より供給される欠
陥画素の位置情報112 に従って、動画モード時の色分離
回路におけるサンプリングタイミングを制御する色分離
パルスを生成する。タイミング制御部30は、欠陥画素の
色分離タイミングにて、その画素のサンプリングを禁止
するとともに前画素のホールド値を継続して維持させる
色分離パルスを出力する。このような色分離パルス108
によりアナログ信号処理部28では、3線色分離した各成
分信号に対して、欠陥画素に対応する処理タイミングで
は、欠陥画素の値をサンプリングせず、欠陥画素と同一
色成分である各色成分信号における一画素前のホールド
画素値を再び出力する前置補間処理が可能となる。
たA/D 変換部32は、入力110 に入力される画像信号を所
定ビットのディジタル信号に変換するアナログ・ディジ
タル変換処理部である。本実施例におけるA/D 変換部32
は、タイミング制御部30から供給されるA/D クロックや
同期信号等の制御信号114 に応動して、水平走査期間ご
とに切り換えて供給される各色成分の各画素信号を、た
とえば8ビットもしくは10ビットのディジタル値に順次
変換する。A/D 変換部32の出力116 はディジタル信号処
理部34に接続されている。
ィジタル画像データを制御部36からの制御信号118 に基
づいて、各種ディジタル信号処理する処理回路である。
この信号処理部34は、RGB 画像信号をそれぞれ一時記憶
するフレームメモリを有し、静止画モードが設定される
と、フレームメモリに格納される画像データに対し、色
バランス、輝度、彩度等を補正する補正処理を静止画モ
ードに応じた信号処理パラメータに従って行なう。ま
た、信号処理部34は、画像データに対してフィルタ処理
および輪郭強調処理等のディジタル信号処理を実行して
適切な静止画像を作成する。
において、RGB原色カラー画像データを輝度データY
および色差データCに変換するYC分離処理機能を有
し、動画モードでは、YC変換処理を行なったYCデー
タをビデオ信号発生部44に供給する。また、信号処理部
34は、RGB画像データをモニタ18に供給する。また、
静止画モードにおける信号処理部34は、記録処理部38に
おける圧縮符号化方式に応じて、本実施例では画像デー
タをYCデータに変換し、記録処理部38は、輝度データ
Yおよび色差データCに対して圧縮および符号化処理を
行なう。また、ディジタル信号処理部34は、撮像素子14
のフィルタ15配列に応じて各画素を3つの原色RGB にて
表わす画素補間機能を有し、撮像素子14におけるR,G,B
各原色の画素から1つのRGB 画素を補間処理により生成
する機能を有している。
素を静止画モードにて補正する機能を有し、その際に欠
陥画素の周辺の複数画素を用いて補間処理することによ
り、良好に補正された静止画像を生成する機能を有して
いる。詳しくは、信号処理部34は、後述する座標メモリ
48に格納された欠陥画素の座標データに応じて制御部36
から供給される位置情報120 を用い、撮像信号の全有効
画素に対して、欠陥画素の値を同一色成分の周辺画素値
に基づいた値で置き換える画素補間処理を行なう。たと
えば、信号処理部34は、フレームメモリに一旦記憶され
た欠陥画素に近接する上下左右方向の同一色成分画素を
用いてそれらの平均を算出し、その平均値を欠陥画素が
記憶されるアドレスに書き込んで、欠陥画素を埋め戻す
補間処理を行なう。信号処理部34は、このようにして処
理した1コマの静止画像データをフレームメモリから読
み出し、出力122 に接続された記録処理部38に出力す
る。
理部34ではこのような演算処理が必要な静止画用の欠陥
補正処理を行なわず、アナログ信号処理部28にて前置補
間された画像データをモニタ用のRGB 信号に変換し、出
力先として設定される出力124 に接続されるカラー液晶
モニタ18や、出力126 に接続されるビデオ信号発生部44
に応じて高速に出力する。
記録する画像信号を処理するのに先立って、露出調整お
よび撮像レンズ12の焦点位置調整等の撮像制御を行なう
ための評価値を画像データから算出して制御部36に供給
する機能を有し、制御部36は算出される評価値に基づい
て、撮像素子14、アナログ信号処理部28およびディジタ
ル信号処理部34を制御して撮影制御を行なう。
メモリに記憶された静止画像信号を補間処理して各画素
のRGB 信号を作成し、作成されたRGB 信号を輝度および
色差信号に分離するYC分離処理を行なう。信号処理部
34は、処理されたYC画像データを出力122 に出力す
る。
接続されるメモリカード16に記録する符号化データを作
成する処理部であり、静止画像の画像データおよび符号
化データの書込みおよび読出しを制御する機能を有して
いる。本実施例における記録処理部38は、入力される画
像信号122 をJPEG方式等の圧縮符号化処理によって符号
化してたとえば所定長の符号化データを生成し、これを
メモリカード16等の記録媒体に応じた記録形式に変換し
てメモリカード16に書き込む。記録処理部38はまた、メ
モリカード16に記録された情報を読み出してその符号化
データを復号し、復号された画像データをディジタル信
号処理部34に供給する機能を有する。この場合、信号処
理部34は、記録処理部38から供給された静止画像データ
を、カラー液晶モニタ18やビデオ信号発生部44に適合す
る信号形式に変換して出力124 および出力126 に出力す
る。
処理部34は、A/D 変換処理部32から出力される画像信号
の各フィールド信号を入力し、その動画像の出力先に応
じた画像データを生成する。動画モードにおいては、表
示スイッチ24がオンとされている場合には、処理した画
像データをカラー液晶モニタ18に供給し、また、出力端
子42に他の表示装置が接続されていることを検出した場
合には、出力端子42に画像データを出力する。また、動
画モードにおける信号処理部34は、静止画モードにて処
理する画素欠陥補正処理を行なわず、画素数が間引きさ
れた画像データを出力することにより、連続する各コマ
の画像を順次出力して、カラー液晶モニタ18やビデオ信
号発生部44などの表示装置に自然な動画像表示を行な
う。さらに信号処理部34は、動画モードにおいても、撮
影制御のための評価値を算出する機能を有し、画像の明
るさ、ピント等を調節するための評価値を制御部36に供
給する。これにより、動画モードにおいて適切に撮影制
御された映像が液晶モニタ18等に表示され、これによ
り、たとえば的確なフレーミングを行なうことができ
る。
する位置の画素が含まれている場合であっても、前置補
間により、欠陥画素ではない前画素の値が用いられるの
で、極端な輝点や暗点等の欠陥画素値そのものが動画表
示中の映像に目立って表示されることが防止される。本
実施例のカメラ10では、このように電子的なファインダ
機能を実現しているが、さらに、表示スイッチ24がオフ
の状態で動画像をモニタ表示しない場合であってもフレ
ーミングが可能なように光学ファインダを備えてもよ
い。この場合、動画像を表示・出力しないように設定さ
れている場合には、動画モードの際、アナログ信号処理
部28における画素欠陥補正処理を停止し、通常のサンプ
リング動作を行なってよい。なお、アナログ信号処理部
28にて行なわれるガンマ補正処理および色バランス調整
処理などに代えて、これら補正および調整処理をディジ
タル信号処理部34にて行なうようにしてもよい。
されたビデオ信号発生部44は、その出力端子42に接続さ
れる表示装置の入力信号形式に適合する動画像および静
止画像等の画像信号を生成する信号変換処理部である。
本実施例おけるビデオ信号発生部44は、出力端子42に接
続されるモニタ装置等の映像出力装置に応じて、NTSCビ
デオ信号を出力端子42に出力する。ディジタル信号処理
部34は、ディジタル画像信号を出力するディジタル出力
端子を備えてもよく、たとえば、連続する各コマの動画
像データを入出力可能なシリアル入出力端子もしくはパ
ラレル入出力端子を備える場合には、動画モードにおい
て、アナログ信号処理部28にて欠陥画素補正処理された
動画像信号を、その接続装置に応じた所定の形式に変換
して入出力端子より出力する。
静止画モードとを択一的に設定する機能を有している。
制御部36は、上述したように、表示スイッチ24がオン状
態に操作されると動画モードを設定する。また、ビデオ
信号発生部44の出力端子42に、動画像表示が可能な表示
装置が接続されたことを検出すると動画モードを設定す
る。また、制御部36は、レリーズスイッチ22がオン状態
に操作されたことを検出すると静止画モードを設定す
る。この制御部36は、操作部20に備えられた電源スイッ
チ46がオンされて、各部に電源が供給されるとこれに応
動し動画モードを設定するように初期設定されていても
よい。なお、レリーズスイッチ22が2段式スイッチにて
構成される場合には、その第1ストロークにて動画モー
ドにおける撮像調節を行なって、焦点調節、露出調節お
よびホワイトバランス等を調整し、レリーズスイッチ22
がさらに押下された第2ストロークにて静止画モードに
移行するとよい。
とタイミング制御部30は、撮像素子14を間引き読み出し
駆動する駆動信号を生成するとともに、制御部36より供
給される位置情報に基づいて、欠陥画素を色分離するタ
イミングにてサンプリングを禁止する色分離パルス108
をアナログ信号処理部28に供給する。また、静止画モー
ドにおいて制御部36は、座標メモリ48に記録された座標
データに応じた位置情報をディジタル信号処理部34に与
え、信号処理部34は、位置情報に対応するメモリアドレ
スの画素値をその周辺画素値を用いて補間処理し、静止
画モードにおける画素欠陥補正を行う。これら座標デー
タに基づいて制御部36は、撮像画像に内在する画素欠陥
の欠陥画素値を補正制御する。
て、座標データが示す欠陥画素の位置情報に基づいて、
サンプリングを禁止する画素タイミングを指定する補正
制御信号をタイミング制御部30に出力する。動画モード
におけるタイミング制御部30では、入力された補正制御
信号が示すタイミングにてアナログ信号処理部28におけ
るサンプリングを停止させために、対象となる色成分の
画素に対応する色分離用のサンプリングパルス108 の出
力を停止し、その欠陥画素のサンプリングを禁止してホ
ールド状態を維持させる。そしてホールド電圧を次の画
素タイミングにて出力することにより前の画素値を継続
して出力する。他の正常画素のサンプリングタイミング
では、各色成分毎の通常の色分離パルスを出力する。
御部30、アナログ信号処理部28およびディジタル信号処
理部34は、動画モードおよび静止画モードにおいてそれ
ぞれ、前置補間処理機能と完全補間処理機能とを有し、
動作モードに応じた適切な処理を行なって、適正に処理
された動画像および静止画像を得るように構成されてい
る。
を示す座標データが座標メモリ48に格納されて、その座
標データに対応する画素に対して各モードとも画素欠陥
補正処理を行なう。しかしこれに限らず、たとえば、動
画モードでは、モニタ表示される撮像信号に対応する座
標データのみを使用して、動画モードにおける前置補間
処理をアナログ信号処理部28にて行なうことができる。
つまりこの場合、制御部36は、動画モード時において動
画像表示をする際、たとえばその画像表示サイズに応じ
て間引きされて表示されない画素に対して、その画素の
欠陥補正を行なわないようにしてもよい。このようにす
るために、動画用の座標データと、静止画用の座標デー
タとを予め区別して座標メモリ48に各々格納しておき、
モードに応じた座標データを選択して各モードの欠陥補
正処理を行なうとよい。
動を行なわずに、画像モニタへの表示サイズ合わせのた
めの間引き処理をディジタル信号処理部34にて行なう場
合や、ディジタル信号処理部34にて画像を拡大および縮
小する処理を行なうデジタルズーム処理を行なう場合に
は、動画像信号の各コマのデータを信号処理部34のフレ
ームメモリに格納して拡大縮小用の画素補間および間引
き処理を行なう。このような場合には、少なくとも画素
補間処理および間引き処理に必要な位置座標の画素が欠
陥画素である場合には上述の前置補間処理を行なう。こ
の場合、画像の拡大縮小の程度によっては、同じ位置座
標の欠陥画素でも、その1画像内において前置補間する
場合と前置補間しない場合とがあってもよい。
ィジタルスチルカメラ10の動作を説明する。まず電源ス
イッチ46が操作されて本カメラ10の各部に電源が供給さ
れ、この電源投入後の初期状態では、ダイヤルスイッチ
などにてセットされている撮影モードや再生モードなど
の動作モードとなる。ここで撮影モードがセットされて
いる場合、一旦スタンバイ状態となって、動画モードお
よび静止画モードは設定されず、さらにレリーズスイッ
チ22がオンとなると静止画モードとなって、撮像したス
チル画像がメモリカード16に記録される。
座標メモリ48に記憶されている座標データが認識され
て、制御部36は、動画モードを設定する際に、座標デー
タに応じた位置情報をタイミング制御部30に通知する。
この動画モードは、表示スイッチ24がオン状態に操作さ
れたり、出力端子42に外部機器が接続されたことが検出
されると設定される。また、制御部36は、レリーズスイ
ッチ22に応動して静止画モードを設定する際に、その座
標データに応じたメモリアドレスをディジタル信号処理
部34に通知する。
撮像されたカラー画像信号106 がRGB点順次にアナログ
信号処理部28に入力される。信号処理部28に入力された
画像信号は、タイミング制御部30より供給される色分離
パルス108 に従ってサンプルホールドされて、画像信号
がR,G,B 各成分の3線に色分離される。この3線化され
た各成分の画像信号は、それぞれレベル調整されて、オ
フセット、ホワイトバランスおよびガンマ(γ)が調節
される。
部30には制御部36から通知される位置情報が入力され
て、タイミング制御部30は、色分離する対象画素のう
ち、その位置情報に対応する画素の分離タイミングに
て、画素サンプリングを一時停止するとともに前の画素
値をホールド状態に維持する。この結果、位置情報に応
じた処理タイミング、つまり欠陥画素の色分離タイミン
グにてその画素をサンプリングせず、同じ色成分内での
1画素前にサンプリングおよびホールドした画素値がさ
らにホールドされて同一成分の画素によって置き換えら
れる。このように本実施例では、前置補間処理が各色成
分ごとに行なわれて、各色成分ともに欠陥画素のサンプ
リングタイミングにてそれぞれ前置補間される。このよ
うにして前置補間処理された画像信号は、レベル調整の
後、マルチプレクサによって一線化して出力されA/D 変
換部32に入力される。A/D 変換部32に入力された画像信
号はディジタルデータに変換され、変換された画像デー
タがディジタル信号処理部34に入力される。
画像サイズが調節され、モニタ18に適合するように画素
間引きされた画像データが各コマごとに順次生成され、
この画像データがモニタ18に出力される。これにより被
写界を撮像した動画像の映像がモニタ18に表示される。
一方、出力端子42に外部機器が接続されている場合に
は、信号処理部34にて、たとえばNTSC方式の映像を生成
するのに必要な画像サイズに調節され、調節された画像
データがアナログ値に変換されて、これに同期信号等が
付加される。このように試製される映像信号は出力端子
42に接続された外部機器に送出される。これとともにピ
ント調整、露出調整のためのデータが制御部にて得ら
れ、これらデータにより、シャッタ速度、絞り値および
撮像レンズの焦点位置などが制御される。
望の被写体が撮像範囲にはいるようにカメラの向きなど
を調整して画角あわせを行なう。所望のフレーミング状
態となってレリーズスイッチ22がオン状態に操作される
とカメラ10は、静止画モードに移行する。静止画モード
において、撮像した1フレームの画像を表わす画像信号
102 が撮像素子14から出力され、CDS 回路26にて相関二
重サンプリングされた後、アナログ信号処理部28に入力
される。静止画モードにおけるアナログ信号処理部28に
は、通常のサンプリングパルスがタイミング制御部30よ
り供給されて、3線分離および各種レベル調整処理が行
なわれる。
号は、マルチプレクサによって一線化された後A/D 変換
部に入力されてディジタル信号に変換される。変換され
た画像データがディジタル信号処理部34に入力される
と、フレームメモリに一旦格納される。このとき制御部
36から信号処理部34に対し、座標メモリ48から読み出さ
れた座標データに応じたメモリアドレスが供給されて、
そのアドレスに対する補間処理が撮像素子のカラーフィ
ルタ配列に応じて行なわれる。詳しくは、図3に示すよ
うに、たとえば白傷となる欠陥R画素aおよび黒傷とな
るG画素bに対する補間処理を行なう場合、それら対象
画素にそれぞれ近接する同一色成分の隣接画素値を平均
化した値を、その対象画素の値としてメモリに書き込む
ことにより、欠陥画素値を、隣接画素値で平均化した値
に更新する。
平(H) 方向の左右に同一色で近接するR画素と、垂直
(V) 方向にそれぞれ3ライン上下のR画素との4つの画
素により、対象画素の値を推定する。その推定方法は、
たとえば、画素間距離に応じた加重平均や単純平均など
演算結果を用いてよい。欠陥G画素aについても同様
に、水平(H) 方向の左右に同一色で近接するG画素と、
垂直(V) 方向に隣接している上下のGR画素との4つの
画素により対象画素の値を推定する。本実施例では周辺
の4画素により平均化した画素値を対象画素の値として
置き換えるように構成されているが、これに限らず、近
接する同一色の他の一画素を使用するか、近接する同一
色の2画素または3画素を平均化してその平均結果を用
いてもよい。また、状況に応じて、参照する周辺画素は
必ずしも同一色の画素を使用しなくても、たとえば傷の
程度が大きい欠陥画素に対しては、異なる色成分の画素
でその対象画素値を補正しても傷の程度が緩和される。
これは静止画モードに限らず、動画モードにおいても同
様である。静止画モードにおける補間処理はムービーモ
ードにおけるそれと比べて、ある程度時間がかかっても
よいが、上述の補間処理は、モニタに表示される映像へ
の影響や、処理時間等を勘案して、その補間精度および
補間処理方法が設定されるとよい。
処理が完了すると、フレームメモリに格納されている画
像データが読み出されて、記録処理部38に出力される。
記録処理部38では、制御部36からの制御を受けて、画像
データを圧縮符号化し、処理された符号化データがメモ
リカード16に応じた所定のフォーマットにてその記憶領
域に書き込まれる。それとともにフレームメモリに格納
されている画像データが出力124 および出力126 に出力
されて、その記録された画像がモニタ18の表示画面に表
示されて記録画像の確認が行なわれる。このときビデオ
信号発生部44の出力端子42に外部装置が接続されている
場合には、画像データに応じた映像信号が生成されて外
部装置に供給される。また、メモリカード16に記録され
た符号化データは、再生モードが設定されると、所望の
コマ番号の画像が読み出され、読み出されたデータは記
録処理部38にて復号されディジタル信号処理部34に入力
される。この復号された画像データは、静止画モードに
おける撮影記録時と同様にモニタ18および信号発生部44
に供給されて、その画像が表示される。
グパルス(色分離パルス)の生成を欠陥画素の処理タイ
ミングにて停止して、欠陥画素に対するサンプリングを
アナログ信号処理部28にて停止するように構成されてい
たが、本発明はこれに限らず、たとえば、A/D 変換部32
に供給するADクロックを、対象画素の処理タイミングに
て停止するようにタイミング制御部30が構成されていて
もよい。この場合、タイミング制御部30は、動画モード
において、アナログ・ディジタル変換時におけるサンプ
リングを継続してホールドさせる。このときA/D 変換部
32には一線化された画像信号が入力されているので、前
置補間する際の参照画素は、撮像素子14のフィルタ配列
によっては対象画素とは色成分が異なる成分の画素値で
あるが、動画モードにおいて傷が緩和された映像を表わ
す画像データをA/D 変換部32から出力することができ
る。また、動画モードにて欠陥補正する際に、欠陥画素
の傷の程度に応じて、あるレベル以上の、特に目立つ欠
陥画素に対してのみ、動画モードにおける前置補間処理
を行なってもよい。
対する補正方法を動画像および静止画像を得るための駆
動に応じて切り換え、動画モードにて簡易的な補間処理
を行なうことにより、ムービー表示およびスチル撮影の
いずれの場合においても、処理負担を増加させることな
く、欠陥画素によって画像品質が極端に低下することが
防止される。
では、カメラ10の動作モードに応じて、動画モードでは
簡易的な前置補間処理を行ない、静止画モードではフレ
ームメモリに格納された画素値を他の画素値を演算した
結果と置き換える補間処理を行なって、動作モードに応
じた画素欠陥補正を行なっていた。しかし本発明はこれ
に限らず、たとえば上述の前置補間処理を行なわず、と
くに動画モードにおいて欠陥画素による悪影響を低減さ
せる方式を採用してもよい。
の実施例を図4に示すと、アナログ信号処理部28および
A/D 変換部32にて、サンプリングを一時停止して前置補
間することを行なわず、本実施例におけるディジタルス
チルカメラ10の動画モードでは、ディジタル信号処理部
62における輪郭強調処理の程度を静止画モードにおける
それよりも弱めるように制御する。なお、以下の説明に
おいて、図1に示した実施例における構成と同様の構成
は同一の参照符号を付してその説明を省略し、とくに異
なる点について説明する。
32から出力される画像データ116 を信号処理するディジ
タル信号処理部62を有し、信号処理部62は、制御部64か
らの制御信号200 に基づいて、図1に示した実施例にお
けるディジタル信号処理部34と同様に、画像データ116
を各種ディジタル信号処理する。この信号処理部62は、
RGB 画像信号をそれぞれ一時記憶するフレームメモリを
有し、静止画モードが設定されると、フレームメモリに
格納される画像信号に対し、色バランス、輝度および彩
度等を補正する補正処理を静止画モードに応じた信号処
理パラメータに従って行なう。また、信号処理部62は、
画像信号に対してフィルタ処理および輪郭強調処理等の
ディジタル信号処理を実行して適切な静止画像を作成す
る。
特性を補正するアパーチャ補正等の画質調整機能を有
し、画像の輪郭を抽出してその程度を制御信号200 に応
じて強調または低減するように可変させる。この場合、
信号処理部62は、動画モードにおいて画像データをアパ
ーチャ補正する輪郭強調の程度を、静止画モードにおけ
る輪郭強調よりも下げるか、もしくは強調処理を施さな
い。この強調処理は、制御部64から供給される制御信号
200 に含まれるパラメータに従って制御される。このた
め、タイミング制御部66は、画素欠陥の処理タイミング
等において色分離におけるサンプリングを禁止せず、制
御部64により設定される動作モードに応じた駆動信号10
0,104 を撮像素子14およびCDS 回路26に供給して、前置
補間処理を行なわないようにしてよい。
に、ディジタル信号処理部62にて輪郭強調処理する際に
必要なパラメータ200 を決定し、信号処理部62に供給す
る機能を有する。本実施例における制御部64は、動画モ
ードおよび静止画モードのいずれかの動作モードに応じ
てパラメータ200 を切り換え、動画モードでは、静止画
モードにて必要とされる輪郭強調処理よりも弱めに指定
するパラメータ200 を生成して、動画モードでは輪郭強
調処理を低めに設定する。これによって、欠陥画素の部
位が画像中の輪郭部に現われる場合に、その画素欠陥が
強調されて目立つことが防止される。
正処理を行なう際に、画像の彩度を彩度を動画モードで
は静止画モードにおける処理よりも低めに設定し、動画
モードでは静止画像を表示させるときよりも、画像の彩
度を下げた映像を表示させてもよい。これは欠陥画素に
対応する色フィルタによって欠陥画素が目立つ場合など
に有効である。
処理する際の処理パラメータを変更することにより、動
作モードに応じた処理を可変するように構成されている
が、これに限らず、とくに動画モードでは、撮像素子14
における画素欠陥位置と、その欠陥画素が表示されるモ
ニタ18における表示位置とを対比させて、モニタ18に表
示される欠陥画素位置の表示画素のレベルを強制的に中
間値等に置き換えて、欠陥画素に対応する表示画素のみ
をたとえば中間輝度にしたり無彩色にしたりする処理を
行なってもよい。
タル信号処理部62にて行なわれるエッジ強調処理や彩度
調整処理など、欠陥画素による傷の見え方に強く影響を
与える画像補正処理にて使用される制御パラメータを、
動画モードの場合には静止画モードにおけるよりも低く
制御するパラメータに変更して、その処理を行なう信号
処理部に供給することにより傷による影響が緩和され
る。この結果、メモリカード16に記録される画像に対し
ては、上述の実施例と同様に欠陥画素の周辺画素によっ
て適切に補間処理された画像が記録され、動画モードに
おいてモニタ18等に表示される映像については、その傷
が目立たないように処理される。なお、アナログ信号処
理部28にて、輪郭強調処理等の画素値変換処理を行なう
ように構成される場合には、同様に動作モードに応じた
信号処理パラメータを信号処理部28に与えて欠陥画素に
よる傷の程度を動画モードでは低減させることができ
る。
その映像を表示し、静止画モードではその画像をメモリ
カード16に記録する各々の動作モードについて説明した
が、これに限らず、たとえば動画像データを有効に記録
可能な記録媒体が記録処理部38に装填される場合には、
動画モード時にて得られる映像を記録媒体に記録する動
画モードであってもよい。
欠陥画素から得られる画素値に対する補正方式を、ムー
ビー表示可能な動画モードおよび静止画像記録を行なう
静止画モードのいずれかに応じて切り替えることにより
両モードともに適切な映像および画像を得ることができ
る。動画モードにおいては、欠陥画素アドレスをもとに
して各フレームデータの転送速度を低下させることなく
前置補間を行ない、静止画記録モードの動作時には、欠
陥画素による悪影響を極力廃して良好な静止画像を得る
ための充分な画素補間処理を行なうことにより、両モー
ドにおいて適切に処理された画像データを得ることがで
きる。また、画像特性を強調補正する処理パラメータを
動画モードにおいては、その処理の程度を下げることに
より表示手段に表示される映像に現われる欠陥画素を目
立たなくして、傷を緩和させることができる。このよう
に本発明では、撮像手段による画素欠陥に対する補正処
理を簡便な構成にて適切に制御し、撮像手段および信号
処理手段等各部の駆動方法に応じた動作モードに従っ
て、それぞれ良好に欠陥補正した画像が得られる。
例を示すブロック図である。
る。
施例を示すブロック図である。
Claims (22)
- 【請求項1】 撮像レンズにより結像される光学像を光
電変換して出力する撮像手段からの出力画像信号を入力
して、該画像信号に応じた動画像および静止画像を出力
する撮像制御装置において、該装置は、 前記撮像信号を処理する信号処理手段と、 前記撮像手段における欠陥画素に関する欠陥情報を格納
する格納手段と、 前記信号処理手段にて処理された画像信号を動作モード
に応じて出力する出力手段と、 前記撮像手段、信号処理手段および出力手段を制御し
て、前記動画像を出力する動画モードと、前記静止画像
を記録する静止画モードとの動作モードを設定する制御
手段であって、該設定に応じて各部を駆動して、前記画
像信号に応じた動画像を出力させ、前記画像信号に応じ
た静止画像を記録媒体に記録させる制御手段とを含み、 該制御手段は、前記欠陥情報に基づいて前記画像信号に
おける欠陥画素を認識し、該認識結果に応じて前記信号
処理手段を制御し、 該信号処理手段は、前記制御手段からの制御に応動し
て、前記静止画モードでは、前記欠陥画素の周辺画素値
に基づいて該欠陥画素位置における画素値を演算し、該
演算結果を前記欠陥画素の画素値として置き換えて前記
出力手段に出力し、前記動画モードでは、前記欠陥画素
を前置補間する信号処理を行なって前記出力手段に出力
することを特徴とする撮像制御装置。 - 【請求項2】 請求項1に記載の装置において、前記信
号処理手段は、前記画像信号の各画素をサンプル・ホー
ルドするサンプリング手段を含み、 前記制御手段は、前記動画モードでは、前記サンプリン
グ手段における前記欠陥画素のサンプリングタイミング
にて該画素に対するサンプリングを禁止し、前記欠陥画
素以外の正常画素に対してはサンプリングさせる制御信
号を該サンプリング手段に供給し、 該動画モードにおける前記サンプリング手段は、前記欠
陥画素をサンプリングせず、該欠陥画素の前画素値をホ
ールドした値を、該欠陥画素の値として前記出力手段に
出力することを特徴とする撮像制御装置。 - 【請求項3】 請求項2に記載の装置において、前記信
号処理手段は、 前記撮像手段から出力されるアナログの画像信号を処理
する第1の信号処理手段と、 該第1の信号処理手段にて処理された画像信号をディジ
タル信号に変換し該変換された画像データを出力する変
換手段と、 前記画像データをディジタル信号処理する第2の信号処
理手段であって、前記静止画モードにおける欠陥画素の
補間処理を行なう第2の信号処理手段とを含むことを特
徴とする撮像制御装置。 - 【請求項4】 請求項3に記載の装置において、前記第
1の信号処理手段は、前記撮像手段から出力される画像
信号を、色分離パルスに従ってサンプリングして各原色
ごとの信号に色分離する色分離手段と、 該色分離手段にて分離された原色信号ごとにレベル調整
する調整手段と、 該調整手段にて処理された各原色信号を一線化して出力
する選択出力手段とを含み、 前記動画モードにおける制御手段は、前記欠陥画素の色
分離タイミングにて該欠陥画素のサンプリングを禁止す
る色分離パルスを生成して、該色分離パルスを該色分離
手段に供給し、 該色分離手段は、前記欠陥画素を色分離する際、前記制
御手段より供給される色分離パルスに従って該欠陥画素
の前画素を継続保持して、該保持値を該欠陥画素の値と
して前記調整手段に供給することを特徴とする撮像制御
装置。 - 【請求項5】 請求項3に記載の装置において、前記変
換手段は、前記制御手段から供給されるクロックに従っ
て前記画像信号をサンプリングし、該サンプリング値を
ディジタル値に変換して出力し、 前記動画モードにおける制御手段は、前記欠陥画素の変
換タイミングにて該欠陥画素のサンプリングを停止する
前記クロックを生成して、該クロックを前記変換手段に
供給し、 該変換手段は、前記クロックに従って前記欠陥画素をサ
ンプリングせず、該欠陥画素の前画素を継続保持した値
をディジタル値に変換して前記第2の信号処理手段に供
給することを特徴とする撮像制御装置。 - 【請求項6】 請求項1ないし5のいずれかに記載の装
置において、前記出力手段は、前記動画モードにて生成
される動画像をモニタ表示する画像表示手段と、前記静
止画モードにて生成される静止画像を記録媒体に記録す
る情報記録手段とを含むことを特徴とする撮像制御装
置。 - 【請求項7】 請求項1ないし6のいずれかに記載の装
置において、該装置は、前記撮像手段を含むディジタル
カメラであることを特徴とする撮像制御装置。 - 【請求項8】 撮像レンズにより結像される光学像を光
電変換して出力する撮像手段からの出力画像信号を入力
して、該画像信号に応じた動画像および静止画像を出力
する撮像制御装置において、該装置は、 前記撮像信号を処理する信号処理手段と、 前記撮像手段における欠陥画素に関する欠陥情報を格納
する格納手段と、 前記信号処理手段にて処理された画像信号を動作モード
に応じて出力する出力手段と、 前記撮像手段、信号処理手段および出力手段を制御し
て、前記動画像を出力する動画モードと、前記静止画像
を記録する静止画モードとの動作モードを設定する制御
手段であって、該設定に応じて各部を駆動して、前記画
像信号に応じた動画像を出力させ、前記画像信号に応じ
た静止画像を記録媒体に記録させる制御手段とを含み、 該制御手段は、前記欠陥情報に基づいて前記画像信号に
おける欠陥画素を認識し、該認識結果に応じて前記信号
処理手段を制御し、 該信号処理手段は、前記制御手段からの制御に応動し
て、前記静止画モードでは、前記欠陥画素の周辺画素値
に基づいて該欠陥画素位置における画素値を演算し、該
演算結果を前記欠陥画素の画素値として置き換えて前記
出力手段に出力し、前記動画モードでは、前記画像信号
を処理する信号処理の程度を前記静止画モードにおける
信号処理の程度よりも低減させて前記欠陥画素による影
響を低減した画像信号を前記出力手段に出力することを
特徴とする撮像制御装置。 - 【請求項9】 請求項8に記載の装置において、前記信
号処理手段は、前記画像信号の輪郭をパラメータに従っ
て強調する強調処理手段を含み、前記制御手段は、前記
強調処理手段に供給するパラメータを前記動画モードお
よび前記静止画モードに応じて切り換えて、該動画モー
ドにおける強調処理の程度を前記静止画モードにおける
強調処理の程度よりも下げることを特徴とする撮像制御
装置。 - 【請求項10】 請求項8に記載の装置において、前記
信号処理手段は、前記画像信号の彩度を調節するパラメ
ータに従って補正する補正処理手段を含み、前記制御手
段は、前記補正処理手段に供給するパラメータを前記動
画モードおよび前記静止画モードに応じて切り換えて、
該動画モードにおける補正処理の程度を前記静止画モー
ドにおける補正処理の程度よりも下げることを特徴とす
る撮像制御装置。 - 【請求項11】 請求項8ないし10のいずれかに記載
の装置において、前記出力手段は、 前記動画モードにて生成される動画像をモニタ表示する
画像表示手段と、 前記静止画モードにて生成される静止画像を記録媒体に
記録する情報記録手段とを含むことを特徴とする撮像制
御装置。 - 【請求項12】 請求項8ないし11のいずれかに記載
の装置において、該装置は、前記撮像手段を含むディジ
タルカメラであることを特徴とする撮像制御装置。 - 【請求項13】 撮像レンズにより結像される光学像を
光電変換して出力する撮像手段からの出力画像信号を入
力して、該画像信号に応じた動画像および静止画像を出
力する撮像制御方法において、該方法は、 前記撮像手段における欠陥画素に関する欠陥情報を格納
しておく格納工程と、前記撮像信号を処理する信号処理
工程と、 前記信号処理工程にて処理された画像信号を動作モード
に応じて出力する出力工程と、 前記撮像工程、信号処理工程および出力工程における処
理を制御し、前記動画像を出力する動画モードと、前記
静止画像を記録する静止画モードとの動作モードを設定
する制御工程であって、該設定に応じて前記画像信号に
応じた動画像を出力させ、前記画像信号に応じた静止画
像を記録媒体に記録させる制御工程とを含み、 該制御工程は、前記欠陥情報に基づいて前記画像信号に
おける欠陥画素を認識し、該認識結果に応じて前記信号
処理工程における処理を制御し、 該信号処理工程は、前記制御工程による制御に応動し
て、前記静止画モードでは、前記欠陥画素の周辺画素値
に基づいて該欠陥画素位置における画素値を演算し、該
演算結果を前記欠陥画素の画素値として置き換え、前記
動画モードでは、前記欠陥画素を前置補間する信号処理
を行なうことを特徴とする撮像制御方法。 - 【請求項14】 請求項13に記載の方法において、前
記信号処理工程は、前記画像信号の各画素をサンプル・
ホールドするサンプリング工程を含み、 前記制御工程は、前記動画モードでは、前記サンプリン
グ工程における前記欠陥画素のサンプリングタイミング
にて該画素に対するサンプリングを禁止し、前記欠陥画
素以外の正常画素に対してはサンプリングさせる制御信
号を生成し、 該動画モードにおける前記サンプリング工程は、前記制
御信号に従って前記欠陥画素をサンプリングせず、該欠
陥画素の前画素値をホールドした値を、該欠陥画素の値
とし、前記出力工程は該値を出力することを特徴とする
撮像制御方法。 - 【請求項15】 請求項14に記載の方法において、前
記信号処理工程は、前記撮像手段から出力されるアナロ
グの画像信号を処理する第1の信号処理工程と、 該第1の信号処理工程にて処理された画像信号をディジ
タル信号に変換し該変換された画像データを出力する変
換工程と、 前記画像データをディジタル信号処理する第2の信号処
理工程であって、前記静止画モードにおける欠陥画素の
補間処理を行なう第2の信号処理工程とを含むことを特
徴とする撮像制御方法。 - 【請求項16】 請求項15に記載の方法において、前
記第1の信号処理工程は、前記撮像手段から出力される
画像信号を、色分離パルスに従ってサンプリングして各
原色ごとの信号に色分離する色分離工程と、 該色分離工程にて分離された原色信号ごとにレベル調整
する調整工程と、 該調整工程にて処理された各原色信号を一線化して出力
する選択出力工程とを含み、 前記動画モードにおける制御工程は、前記欠陥画素の色
分離タイミングにて該欠陥画素のサンプリングを禁止す
る色分離パルスを生成し、 該色分離工程は、前記欠陥画素を色分離する際、前記制
御工程にて生成される色分離パルスに従って該欠陥画素
の前画素を継続保持して、該保持値を該欠陥画素の値と
することを特徴とする撮像制御方法。 - 【請求項17】 請求項15に記載の方法において、前
記変換工程は、前記制御工程にて生成されるクロックに
従って前記画像信号をサンプリングし、該サンプリング
値をディジタル値に変換して出力し、 前記動画モードにおける制御工程は、前記欠陥画素の変
換タイミングにて該欠陥画素のサンプリングを停止する
前記クロックを生成し、 前記変換工程は、前記クロックに従って前記欠陥画素を
サンプリングせず、該欠陥画素の前画素を継続保持した
値をディジタル値に変換することを特徴とする撮像制御
方法。 - 【請求項18】 請求項13ないし17のいずれかに記
載の方法において、前記出力工程は、前記動画モードに
て生成される動画像をモニタ表示する画像表示工程と、
前記静止画モードにて生成される静止画像を記録媒体に
記録する情報記録工程とを含むことを特徴とする撮像制
御方法。 - 【請求項19】 撮像レンズにより結像される光学像を
光電変換して出力する撮像手段からの出力画像信号を入
力して、該画像信号に応じた動画像および静止画像を出
力する撮像制御方法において、該方法は、 前記撮像手段における欠陥画素に関する欠陥情報を格納
しておく格納工程と、 前記撮像信号を処理する信号処理工程と、 前記信号処理手段にて処理された画像信号を動作モード
に応じて出力する出力工程と、 前記撮像工程、信号処理工程および出力工程における処
理を制御し、前記動画像を出力する動画モードと、前記
静止画像を記録する静止画モードとの動作モードを設定
する制御工程であって、該設定に応じて各部を駆動し
て、前記画像信号に応じた動画像を出力させ、前記画像
信号に応じた静止画像を記録媒体に記録させる制御工程
とを含み、 該制御工程は、前記欠陥情報に基づいて前記画像信号に
おける欠陥画素を認識し、該認識結果に応じて前記信号
処理手段における処理を制御し、 該信号処理工程は、前記制御工程による制御に応動し
て、前記静止画モードでは、前記欠陥画素の周辺画素値
に基づいて該欠陥画素位置における画素値を演算し、該
演算結果を前記欠陥画素の画素値として置き換えて出力
し、前記動画モードでは、前記画像信号を処理する信号
処理の程度を前記静止画モードにおける信号処理の程度
よりも低減させて前記欠陥画素による影響を低減した画
像信号を出力することを特徴とする撮像制御方法。 - 【請求項20】 請求項19に記載の方法において、前
記信号処理工程は、前記画像信号の輪郭をパラメータに
従って強調する強調処理工程を含み、前記制御工程は、
前記強調処理工程にて使用するパラメータを前記動画モ
ードおよび前記静止画モードに応じて切り換えて、該動
画モードにおける強調処理の程度を前記静止画モードに
おける強調処理の程度よりも下げることを特徴とする撮
像制御方法。 - 【請求項21】 請求項19に記載の方法において、前
記信号処理工程は、前記画像信号の彩度を調節するパラ
メータに従って補正する補正処理工程を含み、前記制御
工程は、前記補正処理工程にて使用するパラメータを前
記動画モードおよび前記静止画モードに応じて切り換え
て、該動画モードにおける補正処理の程度を前記静止画
モードにおける補正処理の程度よりも下げることを特徴
とする撮像制御方法。 - 【請求項22】 請求項19ないし21のいずれかに記
載の方法において、前記出力工程は、前記動画モードに
て生成される動画像をモニタ表示する画像表示工程と、
前記静止画モードにて生成される静止画像を記録媒体に
記録する情報記録工程とを含むことを特徴とする撮像制
御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02612899A JP3980782B2 (ja) | 1999-02-03 | 1999-02-03 | 撮像制御装置および撮像制御方法 |
US09/496,591 US6819359B1 (en) | 1999-02-03 | 2000-02-02 | Method and apparatus for controlling the processing of signals containing defective pixels in accordance with imaging operation mode |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02612899A JP3980782B2 (ja) | 1999-02-03 | 1999-02-03 | 撮像制御装置および撮像制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000224490A true JP2000224490A (ja) | 2000-08-11 |
JP3980782B2 JP3980782B2 (ja) | 2007-09-26 |
Family
ID=12184937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP02612899A Expired - Fee Related JP3980782B2 (ja) | 1999-02-03 | 1999-02-03 | 撮像制御装置および撮像制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6819359B1 (ja) |
JP (1) | JP3980782B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002185861A (ja) * | 2000-12-15 | 2002-06-28 | Olympus Optical Co Ltd | 撮像装置 |
JP2002185860A (ja) * | 2000-12-15 | 2002-06-28 | Olympus Optical Co Ltd | 撮像装置 |
EP1601187A1 (en) * | 2004-05-17 | 2005-11-30 | Sony Corporation | Method and apparatus for detecting defective pixels in accordance with readout method |
JP2006148415A (ja) * | 2004-11-18 | 2006-06-08 | Konica Minolta Photo Imaging Inc | 撮像装置 |
CN100377573C (zh) * | 2003-08-08 | 2008-03-26 | 三洋电机株式会社 | 摄像装置 |
JP2009027252A (ja) * | 2007-07-17 | 2009-02-05 | Canon Inc | 撮像素子及び撮像装置 |
US7538809B2 (en) | 2003-02-20 | 2009-05-26 | Konica Minolta Holdings, Inc. | CCD pulse generator |
JP2009260892A (ja) * | 2008-04-21 | 2009-11-05 | Canon Inc | 画像処理装置及びその制御方法及びプログラム |
JP2009261011A (ja) * | 2009-08-05 | 2009-11-05 | Panasonic Corp | 撮像装置 |
JP2010057136A (ja) * | 2008-08-29 | 2010-03-11 | Canon Inc | 画像処理装置及びその制御方法及びプログラム |
JP2011044820A (ja) * | 2009-08-19 | 2011-03-03 | Nikon Corp | 撮像装置 |
WO2012169140A1 (ja) * | 2011-06-08 | 2012-12-13 | パナソニック株式会社 | 画像処理装置及び画像処理方法並びにデジタルカメラ |
CN103828345A (zh) * | 2011-09-29 | 2014-05-28 | 富士胶片株式会社 | 用于图像处理的设备、方法和程序、存储介质以及图像拾取设备 |
WO2019021626A1 (ja) * | 2017-07-24 | 2019-01-31 | ソニー株式会社 | 撮像装置、および画像処理方法、並びにプログラム |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3557159B2 (ja) * | 2000-08-03 | 2004-08-25 | 三洋電機株式会社 | 機械式絞り装置を具備するビデオカメラ |
US7224484B1 (en) * | 2000-10-04 | 2007-05-29 | Reeves Gerald J | Scanner calibration with dead pixel compensation |
JP2002158893A (ja) * | 2000-11-22 | 2002-05-31 | Minolta Co Ltd | 画像補正装置、画像補正方法および記録媒体 |
US20020168010A1 (en) * | 2001-05-11 | 2002-11-14 | Koninklijke Philips Electronics N. V. | System and method for efficient automatic design and tuning of video processing systems |
JP3925914B2 (ja) * | 2001-05-31 | 2007-06-06 | オリンパス株式会社 | 画素欠陥補正装置および画素欠陥補正方法 |
JP2003078821A (ja) * | 2001-08-31 | 2003-03-14 | Hitachi Kokusai Electric Inc | 撮像装置 |
KR100433875B1 (ko) * | 2002-01-31 | 2004-06-04 | 엘지전자 주식회사 | 디스플레이 장치의 샤프니스 보정장치 |
US7301572B2 (en) * | 2002-03-08 | 2007-11-27 | Canon Kabushiki Kaisha | Pixel correction processing apparatus, image processing apparatus, pixel correction processing method, program, and storage medium |
JP3809411B2 (ja) * | 2002-09-27 | 2006-08-16 | キヤノン株式会社 | 画像処理方法及び装置並びに印刷装置 |
JP2004242103A (ja) * | 2003-02-06 | 2004-08-26 | Canon Inc | 撮像装置 |
US7312821B2 (en) * | 2003-06-03 | 2007-12-25 | Hewlett-Packard Development Company, L.P. | Time-sliced still image generation |
US20050168589A1 (en) * | 2004-01-30 | 2005-08-04 | D. Amnon Silverstein | Method and system for processing an image with an image-capturing device |
US7796169B2 (en) * | 2004-04-20 | 2010-09-14 | Canon Kabushiki Kaisha | Image processing apparatus for correcting captured image |
US7986423B2 (en) * | 2004-05-14 | 2011-07-26 | Samsung Electronics Co., Ltd. | Image reprinting apparatus and method |
JP2006245999A (ja) * | 2005-03-03 | 2006-09-14 | Konica Minolta Photo Imaging Inc | 撮像装置、およびプログラム |
TWI283833B (en) * | 2005-07-07 | 2007-07-11 | Sunplus Technology Co Ltd | Color image dead pixel calibration method and its system |
US8259179B2 (en) * | 2006-05-15 | 2012-09-04 | Csr Technology Inc. | Compensating for non-uniform illumination of object fields captured by a camera |
TWI327023B (en) * | 2006-10-26 | 2010-07-01 | Novatek Microelectronics Corp | Method for compensating pixel value of defect pixel and image processing system using the same |
US20080215261A1 (en) * | 2006-10-27 | 2008-09-04 | International Business Machines Corporation | Design structure for enhancing yield and performance of cmos imaging sensors |
US20080100725A1 (en) * | 2006-10-27 | 2008-05-01 | Abadeer Wagdi W | Circuits for enhancing yield and performance of cmos imaging sensors |
JP5003348B2 (ja) * | 2007-08-22 | 2012-08-15 | 株式会社ニコン | 電子カメラ |
JP5006814B2 (ja) * | 2008-02-26 | 2012-08-22 | キヤノン株式会社 | 撮像装置 |
JP5513310B2 (ja) * | 2010-08-26 | 2014-06-04 | 富士フイルム株式会社 | 撮像モジュールおよび画像信号処理方法、復元処理装置およびその方法 |
JP5702895B2 (ja) * | 2012-07-06 | 2015-04-15 | 富士フイルム株式会社 | カラー撮像素子および撮像装置 |
US8867832B2 (en) * | 2013-02-01 | 2014-10-21 | National Yunlin University Of Science And Technology | Method for detecting and removing scrolling texts during video communication |
KR20150141821A (ko) * | 2014-06-10 | 2015-12-21 | 삼성전자주식회사 | 불균일 특성을 보정하는 디스플레이 장치 및 그 제어 방법 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5810032A (ja) * | 1981-07-09 | 1983-01-20 | オリンパス光学工業株式会社 | 内視鏡 |
US4805023A (en) * | 1985-10-15 | 1989-02-14 | Texas Instruments Incorporated | Programmable CCD imager defect compensator |
US5223921A (en) * | 1990-04-27 | 1993-06-29 | Sanyo Electric Co., Ltd. | White balance adjusting apparatus for automatically adjusting white balance on the basis of a color information signal obtained from an image-sensing device |
JPH04160883A (ja) * | 1990-10-25 | 1992-06-04 | Sony Corp | 固体撮像素子の欠陥補正回路 |
US5251019A (en) * | 1991-01-25 | 1993-10-05 | Eastman Kodak Company | Solid state color image sensor using a field-staggered color filter pattern |
US5943094A (en) * | 1991-09-04 | 1999-08-24 | Canon Kabushiki Kaisha | Image pickup device with noise data generation |
JPH05260386A (ja) * | 1992-03-16 | 1993-10-08 | Sony Corp | 固体撮像素子の欠陥画素検出回路 |
JP3042159B2 (ja) * | 1992-04-10 | 2000-05-15 | ソニー株式会社 | Ccd素子の欠陥画素補正回路 |
US5838371A (en) * | 1993-03-05 | 1998-11-17 | Canon Kabushiki Kaisha | Image pickup apparatus with interpolation and edge enhancement of pickup signal varying with zoom magnification |
JPH07143403A (ja) | 1993-11-15 | 1995-06-02 | Sony Corp | ビデオカメラ装置 |
US5499114A (en) * | 1994-10-31 | 1996-03-12 | Eastman Kodak Company | Digital image scanning apparatus with pixel data compensation for bad photosites |
US5828406A (en) * | 1994-12-30 | 1998-10-27 | Eastman Kodak Company | Electronic camera having a processor for mapping image pixel signals into color display pixels |
-
1999
- 1999-02-03 JP JP02612899A patent/JP3980782B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-02 US US09/496,591 patent/US6819359B1/en not_active Expired - Fee Related
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4602541B2 (ja) * | 2000-12-15 | 2010-12-22 | オリンパス株式会社 | 撮像装置 |
JP2002185860A (ja) * | 2000-12-15 | 2002-06-28 | Olympus Optical Co Ltd | 撮像装置 |
JP2002185861A (ja) * | 2000-12-15 | 2002-06-28 | Olympus Optical Co Ltd | 撮像装置 |
US7538809B2 (en) | 2003-02-20 | 2009-05-26 | Konica Minolta Holdings, Inc. | CCD pulse generator |
CN100377573C (zh) * | 2003-08-08 | 2008-03-26 | 三洋电机株式会社 | 摄像装置 |
EP1601187A1 (en) * | 2004-05-17 | 2005-11-30 | Sony Corporation | Method and apparatus for detecting defective pixels in accordance with readout method |
CN100425061C (zh) * | 2004-05-17 | 2008-10-08 | 索尼株式会社 | 成像装置和成像方法 |
US7532240B2 (en) | 2004-05-17 | 2009-05-12 | Sony Corporation | Imaging apparatus and imaging methods |
JP2006148415A (ja) * | 2004-11-18 | 2006-06-08 | Konica Minolta Photo Imaging Inc | 撮像装置 |
JP2009027252A (ja) * | 2007-07-17 | 2009-02-05 | Canon Inc | 撮像素子及び撮像装置 |
JP2009260892A (ja) * | 2008-04-21 | 2009-11-05 | Canon Inc | 画像処理装置及びその制御方法及びプログラム |
JP2010057136A (ja) * | 2008-08-29 | 2010-03-11 | Canon Inc | 画像処理装置及びその制御方法及びプログラム |
JP2009261011A (ja) * | 2009-08-05 | 2009-11-05 | Panasonic Corp | 撮像装置 |
JP2011044820A (ja) * | 2009-08-19 | 2011-03-03 | Nikon Corp | 撮像装置 |
WO2012169140A1 (ja) * | 2011-06-08 | 2012-12-13 | パナソニック株式会社 | 画像処理装置及び画像処理方法並びにデジタルカメラ |
CN103563359A (zh) * | 2011-06-08 | 2014-02-05 | 松下电器产业株式会社 | 图像处理装置及图像处理方法以及数码相机 |
JPWO2012169140A1 (ja) * | 2011-06-08 | 2015-02-23 | パナソニック株式会社 | 画像処理装置及び画像処理方法並びにデジタルカメラ |
CN103828345A (zh) * | 2011-09-29 | 2014-05-28 | 富士胶片株式会社 | 用于图像处理的设备、方法和程序、存储介质以及图像拾取设备 |
CN103828345B (zh) * | 2011-09-29 | 2017-03-22 | 富士胶片株式会社 | 用于图像处理的设备、方法以及图像拾取设备 |
WO2019021626A1 (ja) * | 2017-07-24 | 2019-01-31 | ソニー株式会社 | 撮像装置、および画像処理方法、並びにプログラム |
JPWO2019021626A1 (ja) * | 2017-07-24 | 2020-05-28 | ソニー株式会社 | 撮像装置、および画像処理方法、並びにプログラム |
JP7176518B2 (ja) | 2017-07-24 | 2022-11-22 | ソニーグループ株式会社 | 撮像装置、および画像処理方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
US6819359B1 (en) | 2004-11-16 |
JP3980782B2 (ja) | 2007-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3980782B2 (ja) | 撮像制御装置および撮像制御方法 | |
JP4210021B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
US8294805B2 (en) | Image capturing apparatus capable of displaying live preview image | |
JP3530907B2 (ja) | デジタルカメラ | |
JP5347707B2 (ja) | 撮像装置および撮像方法 | |
US20060087702A1 (en) | Image capturing apparatus | |
EP1246453A2 (en) | Signal processing apparatus and method, and image sensing apparatus | |
EP1437886B9 (en) | Imager and image quality correcting method | |
JP2005130045A (ja) | 撮像装置及びこれに用いる撮像素子 | |
JP2013034261A (ja) | 撮像装置、撮像方法 | |
JP2000244823A (ja) | 撮像素子の欠陥画素補正装置 | |
JP3980781B2 (ja) | 撮像装置および撮像方法 | |
JP4616429B2 (ja) | 画像処理装置 | |
JPH11239291A (ja) | 撮像制御装置および撮像制御方法 | |
JP3997786B2 (ja) | 撮像装置、表示装置、画像記録装置および画質補正方法 | |
KR20120024448A (ko) | 촬상 장치, 신호 처리 방법 및 프로그램 | |
JP4584544B2 (ja) | 画像再生装置および固体撮像装置 | |
JP6118118B2 (ja) | 撮像装置およびその制御方法 | |
US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
JP2000224472A (ja) | 撮像制御装置および撮像制御方法 | |
JP2004328606A (ja) | 撮像装置 | |
JP5310331B2 (ja) | 撮像装置および撮像方法 | |
JP2007174160A (ja) | 撮像装置 | |
JP2006121165A (ja) | 撮像装置、画像形成方法 | |
JP4881113B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、および記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040812 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070628 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |