JP2000287219A - 画像処理方法及び画像処理装置並びに画像処理プログラムを記録した記録媒体 - Google Patents
画像処理方法及び画像処理装置並びに画像処理プログラムを記録した記録媒体Info
- Publication number
- JP2000287219A JP2000287219A JP11086934A JP8693499A JP2000287219A JP 2000287219 A JP2000287219 A JP 2000287219A JP 11086934 A JP11086934 A JP 11086934A JP 8693499 A JP8693499 A JP 8693499A JP 2000287219 A JP2000287219 A JP 2000287219A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- column
- image processing
- color filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003672 processing method Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 24
- 239000003086 colorant Substances 0.000 claims description 19
- 238000009499 grossing Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012432 intermediate storage Methods 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 18
- 238000012935 Averaging Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Scanning Arrangements (AREA)
- Color Image Communication Systems (AREA)
Abstract
(57)【要約】
【課題】 ベイヤー配列の単板式撮像装置における効率
的な色再現手法を提供する。 【解決手段】 本発明における平滑化フィルタと鮮鋭化
フィルタ両方の効果を持つ荷重平均処理は、補間対象の
ピクセルの種類や位置に依存せず、さらに中間記憶（あ
るいは記録）装置を省略できるので、処理の並列化およ
び低コスト化に適している。この荷重平均処理を用いて
輝度値情報を補間し、色差情報は適切な補間処理方法を
用いることにより、低コストで良好な画質の出力が得ら
れる装置を実現できる。
的な色再現手法を提供する。 【解決手段】 本発明における平滑化フィルタと鮮鋭化
フィルタ両方の効果を持つ荷重平均処理は、補間対象の
ピクセルの種類や位置に依存せず、さらに中間記憶（あ
るいは記録）装置を省略できるので、処理の並列化およ
び低コスト化に適している。この荷重平均処理を用いて
輝度値情報を補間し、色差情報は適切な補間処理方法を
用いることにより、低コストで良好な画質の出力が得ら
れる装置を実現できる。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はビデオカメラやディ
ジタルスチルカメラなどの単板式撮像装置における画像
処理方法に関するもので、特に色情報および輝度情報の
補間処理に関する。
ジタルスチルカメラなどの単板式撮像装置における画像
処理方法に関するもので、特に色情報および輝度情報の
補間処理に関する。
【０００２】
【従来の技術】固体撮像素子を用いたディジタルスチル
カメラにおいて、単板式の撮像方式が多く用いられてい
るが、撮像素子はひとつにつき単色の情報しか持たない
ため、撮像素子から入力されたデータを、近隣画素の情
報を用いて補間する必要がある。
カメラにおいて、単板式の撮像方式が多く用いられてい
るが、撮像素子はひとつにつき単色の情報しか持たない
ため、撮像素子から入力されたデータを、近隣画素の情
報を用いて補間する必要がある。
【０００３】この補間のための画像処理方法として、Ｒ
ＧＢの値を直接補間する平均法が知られており、この平
均法を応用した例が特開平１１−０１８０４７号公報に
記載されている。
ＧＢの値を直接補間する平均法が知られており、この平
均法を応用した例が特開平１１−０１８０４７号公報に
記載されている。
【０００４】以下、従来用いられている平均法について
説明する。
説明する。
【０００５】平均法では、欠落したＲＧＢ各素子の情報
を、上下あるいは左右の画素情報を平均することで補間
を行う。本発明が対象とする固体撮像装置が備えるカラ
ーフィルターは、３色で構成され、単位面積あたり、あ
る色の数が残りの２色それぞれの数に対して２倍の数存
在する特徴を持つものであり、特にベイヤー型配列のカ
ラーフィルタは、ＲＧの画素が並ぶ列とＢＧの画素が並
ぶ列が交互に現れるものである。
を、上下あるいは左右の画素情報を平均することで補間
を行う。本発明が対象とする固体撮像装置が備えるカラ
ーフィルターは、３色で構成され、単位面積あたり、あ
る色の数が残りの２色それぞれの数に対して２倍の数存
在する特徴を持つものであり、特にベイヤー型配列のカ
ラーフィルタは、ＲＧの画素が並ぶ列とＢＧの画素が並
ぶ列が交互に現れるものである。
【０００６】このようなカラーフィルタを持つ撮像素子
において、ＲＢの情報が欠落するＧの画素を補間する場
合は上下あるいは左右のＲＢ情報を平均し、ＢＧの情報
が欠落するＲの画素を補間する場合は斜め方向に隣接す
る４つのＢと上下左右に隣接するＧの画素を平均し、Ｒ
Ｇの情報が欠落するＢの画素を補間する場合は斜め方向
に隣接する４つのＲと上下左右に隣接するＧの画素を平
均する。
において、ＲＢの情報が欠落するＧの画素を補間する場
合は上下あるいは左右のＲＢ情報を平均し、ＢＧの情報
が欠落するＲの画素を補間する場合は斜め方向に隣接す
る４つのＢと上下左右に隣接するＧの画素を平均し、Ｒ
Ｇの情報が欠落するＢの画素を補間する場合は斜め方向
に隣接する４つのＲと上下左右に隣接するＧの画素を平
均する。
【０００７】
【発明が解決しようとする課題】しかしながら、上記従
来の補間方法では、出力画像は輝度が急激に変化する境
界部で色の誤差を伴うという問題点があり、その誤差を
補間後に補正することは困難である。加えて、平均法で
はエッジ部のピントがぼけるため、補間処理の後には鮮
鋭化の処理が必須である。補間処理と鮮鋭化処理を独立
に行う場合、２つの独立な処理部が存在する必要があ
り、さらに補間後の中間結果を保存する必要がある。
来の補間方法では、出力画像は輝度が急激に変化する境
界部で色の誤差を伴うという問題点があり、その誤差を
補間後に補正することは困難である。加えて、平均法で
はエッジ部のピントがぼけるため、補間処理の後には鮮
鋭化の処理が必須である。補間処理と鮮鋭化処理を独立
に行う場合、２つの独立な処理部が存在する必要があ
り、さらに補間後の中間結果を保存する必要がある。
【０００８】この結果、二つの独立な処理部と中間結果
を保存するための補助記録が必要となり、装置として実
現した場合のコストが増大することになる。
を保存するための補助記録が必要となり、装置として実
現した場合のコストが増大することになる。
【０００９】そこで本発明では、固体撮像装置が備える
カラーフィルターが、３色で構成され、単位面積あた
り、ある色の数が残りの２色それぞれの数に対して２倍
の数存在する特徴を持つ場合、特にベイヤー型配列を持
つカラーフィルタを備える固体撮像素子から得られた画
像を補間する手段において、輝度値成分と色差成分をあ
らかじめ分離し、メモリ使用量の低減を計り、また色ず
れの回避を可能とし、全体として低コストで良好な出力
画像を得ることができ、さらに補間位置による場合分け
を伴わず、ハードウェア化の容易な補間方法及びこの補
間方法を用いた画像処理装置並びにこの補間方法を記録
した記録媒体を提供することを目的とする。
カラーフィルターが、３色で構成され、単位面積あた
り、ある色の数が残りの２色それぞれの数に対して２倍
の数存在する特徴を持つ場合、特にベイヤー型配列を持
つカラーフィルタを備える固体撮像素子から得られた画
像を補間する手段において、輝度値成分と色差成分をあ
らかじめ分離し、メモリ使用量の低減を計り、また色ず
れの回避を可能とし、全体として低コストで良好な出力
画像を得ることができ、さらに補間位置による場合分け
を伴わず、ハードウェア化の容易な補間方法及びこの補
間方法を用いた画像処理装置並びにこの補間方法を記録
した記録媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】前述した目的を達成する
ために、請求項１記載の画像処理方法は、３色のフィル
タセルを配列してなり、うち１色の代表色フィルタセル
は市松状に配置され、他の２色のフィルタセルは、それ
ぞれ同数ずつが１つの前記代表色フィルタセルに隣接す
るような各色の配置関係を保って構成される単版式カラ
ーフィルタを用いて、各フィルタセルに入射する光量に
比例した出力を撮像素子より得て、輝度と色度とからな
るカラー画像を撮像する際の画像処理方法において、カ
ラー情報の算出位置を中央に含む縦横３×３の隣接する
前記フィルタセルのブロックにおいて、各セルに対応す
る出力をそれぞれ、第１列目の左より１、２、１、同様
に第２列目は２、４、２、第３列目は１、２、１の割合
で重み付けした荷重平均値をもって、前記算出位置にお
ける画像の輝度とすることを特徴としている。
ために、請求項１記載の画像処理方法は、３色のフィル
タセルを配列してなり、うち１色の代表色フィルタセル
は市松状に配置され、他の２色のフィルタセルは、それ
ぞれ同数ずつが１つの前記代表色フィルタセルに隣接す
るような各色の配置関係を保って構成される単版式カラ
ーフィルタを用いて、各フィルタセルに入射する光量に
比例した出力を撮像素子より得て、輝度と色度とからな
るカラー画像を撮像する際の画像処理方法において、カ
ラー情報の算出位置を中央に含む縦横３×３の隣接する
前記フィルタセルのブロックにおいて、各セルに対応す
る出力をそれぞれ、第１列目の左より１、２、１、同様
に第２列目は２、４、２、第３列目は１、２、１の割合
で重み付けした荷重平均値をもって、前記算出位置にお
ける画像の輝度とすることを特徴としている。
【００１１】また、請求項２に記載された本発明の画像
処理方法は、３色のフィルタセルを配列してなり、うち
１色の代表色フィルタセルは市松状に配置され、他の２
色のフィルタセルは、それぞれ同数ずつが１つの前記代
表色フィルタセルに隣接するような各色の配置関係を保
って構成される単版式カラーフィルタを用いて、各フィ
ルタセルに入射する光量に比例した出力を撮像素子より
得て、輝度と色度とからなるカラー画像を撮像する際の
画像処理方法において、カラー情報の算出位置を中央に
含む縦横３×３の隣接する前記フィルタセルのブロック
において、各セルに対応する出力をそれぞれ、任意の係
数ｆを用いて、第１列目の左より−ｆ、−３ｆ、−４
ｆ、−３ｆ、−ｆ、同様に第２列目は−３ｆ、９−９
ｆ、１８−１２ｆ、９−９ｆ、−３ｆ、第３列目は−４
ｆ、１８−１２ｆ、３６−１６ｆ、１８−１２ｆ、−４
ｆ、第４列目は−３ｆ、９−９ｆ、１８−１２ｆ、９−
９ｆ、−３ｆ、第５列目は、−ｆ、−３ｆ、−４ｆ、−
３ｆ、−ｆの割合で重み付けした荷重平均値をもって、
前記算出位置における画像の輝度とすることを特徴とし
ている。
処理方法は、３色のフィルタセルを配列してなり、うち
１色の代表色フィルタセルは市松状に配置され、他の２
色のフィルタセルは、それぞれ同数ずつが１つの前記代
表色フィルタセルに隣接するような各色の配置関係を保
って構成される単版式カラーフィルタを用いて、各フィ
ルタセルに入射する光量に比例した出力を撮像素子より
得て、輝度と色度とからなるカラー画像を撮像する際の
画像処理方法において、カラー情報の算出位置を中央に
含む縦横３×３の隣接する前記フィルタセルのブロック
において、各セルに対応する出力をそれぞれ、任意の係
数ｆを用いて、第１列目の左より−ｆ、−３ｆ、−４
ｆ、−３ｆ、−ｆ、同様に第２列目は−３ｆ、９−９
ｆ、１８−１２ｆ、９−９ｆ、−３ｆ、第３列目は−４
ｆ、１８−１２ｆ、３６−１６ｆ、１８−１２ｆ、−４
ｆ、第４列目は−３ｆ、９−９ｆ、１８−１２ｆ、９−
９ｆ、−３ｆ、第５列目は、−ｆ、−３ｆ、−４ｆ、−
３ｆ、−ｆの割合で重み付けした荷重平均値をもって、
前記算出位置における画像の輝度とすることを特徴とし
ている。
【００１２】また、請求項３記載の発明は、請求項１ま
たは請求項２の発明において、前記撮像素子の出力に、
対応するフィルタセルの色ごとに異なる比例係数を乗算
する前処理を行うことを特徴としている。
たは請求項２の発明において、前記撮像素子の出力に、
対応するフィルタセルの色ごとに異なる比例係数を乗算
する前処理を行うことを特徴としている。
【００１３】さらに、請求項４記載の発明は、請求項１
ないし請求項３の発明において、前記算出位置における
色度は、算出位置を含む縦横２×２の隣接する前記フィ
ルタセルのブロックにおいて、ブロック内での各色に対
応する出力の平均値を求め、この各色平均値を用いて算
出することを特徴としている。
ないし請求項３の発明において、前記算出位置における
色度は、算出位置を含む縦横２×２の隣接する前記フィ
ルタセルのブロックにおいて、ブロック内での各色に対
応する出力の平均値を求め、この各色平均値を用いて算
出することを特徴としている。
【００１４】また、請求項５記載の発明は、請求項４の
発明において、算出した前記色度を、隣接する算出位置
との間で平滑化して用いることを特徴としている。
発明において、算出した前記色度を、隣接する算出位置
との間で平滑化して用いることを特徴としている。
【００１５】さらに、請求項６に記載された本発明の画
像処理装置は、画像入力手段とこの画像を補間する処理
部と、これら各手段を制御する制御手段とを少なくとも
有し、３色のフィルタセルを配列してなり、うち１色の
代表色フィルタセルは市松状に配置され、他の２色のフ
ィルタセルは、それぞれ同数ずつが１つの前記代表色フ
ィルタセルに隣接するような各色の配置関係を保って構
成される単版式カラーフィルタを用いて、各フィルタセ
ルに入射する光量に比例した出力を撮像素子より得て、
輝度と色度とからなるカラー画像を撮像する画像処理装
置において、カラー情報の算出位置を中央に含む縦横３
×３の隣接する前記フィルタセルのブロックにおいて、
各セルに対応する出力をそれぞれ、任意の係数ｆを用い
て、第１列目の左より−ｆ、−３ｆ、−４ｆ、−３ｆ、
−ｆ、同様に第２列目は−３ｆ、９−９ｆ、１８−１２
ｆ、９−９ｆ、−３ｆ、第３列目は−４ｆ、１８−１２
ｆ、３６−１６ｆ、１８−１２ｆ、−４ｆ、第４列目は
−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆ、
第５列目は、−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割
合で重み付けした荷重平均値をもって、前記算出位置に
おける画像の輝度とすることを特徴としている。
像処理装置は、画像入力手段とこの画像を補間する処理
部と、これら各手段を制御する制御手段とを少なくとも
有し、３色のフィルタセルを配列してなり、うち１色の
代表色フィルタセルは市松状に配置され、他の２色のフ
ィルタセルは、それぞれ同数ずつが１つの前記代表色フ
ィルタセルに隣接するような各色の配置関係を保って構
成される単版式カラーフィルタを用いて、各フィルタセ
ルに入射する光量に比例した出力を撮像素子より得て、
輝度と色度とからなるカラー画像を撮像する画像処理装
置において、カラー情報の算出位置を中央に含む縦横３
×３の隣接する前記フィルタセルのブロックにおいて、
各セルに対応する出力をそれぞれ、任意の係数ｆを用い
て、第１列目の左より−ｆ、−３ｆ、−４ｆ、−３ｆ、
−ｆ、同様に第２列目は−３ｆ、９−９ｆ、１８−１２
ｆ、９−９ｆ、−３ｆ、第３列目は−４ｆ、１８−１２
ｆ、３６−１６ｆ、１８−１２ｆ、−４ｆ、第４列目は
−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆ、
第５列目は、−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割
合で重み付けした荷重平均値をもって、前記算出位置に
おける画像の輝度とすることを特徴としている。
【００１６】また、請求項７に記載された本発明の画像
処理装置は、画像入力手段とこの画像を補間する処理部
と、これら各手段を制御する制御手段とを少なくとも有
し、３色のフィルタセルを配列してなり、うち１色の代
表色フィルタセルは市松状に配置され、他の２色のフィ
ルタセルは、それぞれ同数ずつが１つの前記代表色フィ
ルタセルに隣接するような各色の配置関係を保って構成
される単版式カラーフィルタを用いて、各フィルタセル
に入射する光量に比例した出力を撮像素子より得て、輝
度と色度とからなるカラー画像を撮像する画像処理装置
において、カラー情報の算出位置を中央に含む縦横３×
３の隣接する前記フィルタセルのブロックにおいて、各
セルに対応する出力をそれぞれ、任意の係数ｆを用い
て、第１列目の左より−ｆ、−３ｆ、−４ｆ、−３ｆ、
−ｆ、同様に第２列目は−３ｆ、９−９ｆ、１８−１２
ｆ、９−９ｆ、−３ｆ、第３列目は−４ｆ、１８−１２
ｆ、３６−１６ｆ、１８−１２ｆ、−４ｆ、第４列目は
−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆ、
第５列目は、−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割
合で重み付けした荷重平均値をもって、前記算出位置に
おける画像の輝度とすることを特徴としている。
処理装置は、画像入力手段とこの画像を補間する処理部
と、これら各手段を制御する制御手段とを少なくとも有
し、３色のフィルタセルを配列してなり、うち１色の代
表色フィルタセルは市松状に配置され、他の２色のフィ
ルタセルは、それぞれ同数ずつが１つの前記代表色フィ
ルタセルに隣接するような各色の配置関係を保って構成
される単版式カラーフィルタを用いて、各フィルタセル
に入射する光量に比例した出力を撮像素子より得て、輝
度と色度とからなるカラー画像を撮像する画像処理装置
において、カラー情報の算出位置を中央に含む縦横３×
３の隣接する前記フィルタセルのブロックにおいて、各
セルに対応する出力をそれぞれ、任意の係数ｆを用い
て、第１列目の左より−ｆ、−３ｆ、−４ｆ、−３ｆ、
−ｆ、同様に第２列目は−３ｆ、９−９ｆ、１８−１２
ｆ、９−９ｆ、−３ｆ、第３列目は−４ｆ、１８−１２
ｆ、３６−１６ｆ、１８−１２ｆ、−４ｆ、第４列目は
−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆ、
第５列目は、−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割
合で重み付けした荷重平均値をもって、前記算出位置に
おける画像の輝度とすることを特徴としている。
【００１７】さらに、請求項８の発明は、請求項６また
は請求項７の発明において、前記撮像素子の出力に、対
応するフィルタセルの色ごとに異なる比例係数を乗算す
る前処理を行うことを特徴としている。
は請求項７の発明において、前記撮像素子の出力に、対
応するフィルタセルの色ごとに異なる比例係数を乗算す
る前処理を行うことを特徴としている。
【００１８】また、請求項９の発明は、請求項６ないし
請求項８の発明において、前記算出位置における色度
は、算出位置を含む縦横２×２の隣接する前記フィルタ
セルのブロックにおいて、ブロック内での各色に対応す
る出力の平均値を求め、この各色平均値を用いて算出す
ることを特徴としている。
請求項８の発明において、前記算出位置における色度
は、算出位置を含む縦横２×２の隣接する前記フィルタ
セルのブロックにおいて、ブロック内での各色に対応す
る出力の平均値を求め、この各色平均値を用いて算出す
ることを特徴としている。
【００１９】また、請求項１０の発明は、請求項９の発
明において、算出した前記色度を、隣接する算出位置と
の間で平滑化して用いることを特徴としている。
明において、算出した前記色度を、隣接する算出位置と
の間で平滑化して用いることを特徴としている。
【００２０】さらに、請求項１１に記載の本発明の画像
処理プログラムを記録した記録媒体は、３色のフィルタ
セルを配列してなり、うち１色の代表色フィルタセルは
市松状に配置され、他の２色のフィルタセルは、それぞ
れ同数ずつが１つの前記代表色フィルタセルに隣接する
ような各色の配置関係を保って構成される単版式カラー
フィルタを用いて、各フィルタセルに入射する光量に比
例した出力を撮像素子より得て、輝度と色度とからなる
カラー画像を撮像する際の画像処理プログラムを記録し
た記録媒体において、カラー情報の算出位置を中央に含
む縦横３×３の隣接する前記フィルタセルのブロックに
おいて、各セルに対応する出力をそれぞれ、第１列目の
左より１、２、１、同様に第２列目は２、４、２、第３
列目は１、２、１の割合で重み付けした荷重平均値をも
って、前記算出位置における画像の輝度とすることを特
徴としている。
処理プログラムを記録した記録媒体は、３色のフィルタ
セルを配列してなり、うち１色の代表色フィルタセルは
市松状に配置され、他の２色のフィルタセルは、それぞ
れ同数ずつが１つの前記代表色フィルタセルに隣接する
ような各色の配置関係を保って構成される単版式カラー
フィルタを用いて、各フィルタセルに入射する光量に比
例した出力を撮像素子より得て、輝度と色度とからなる
カラー画像を撮像する際の画像処理プログラムを記録し
た記録媒体において、カラー情報の算出位置を中央に含
む縦横３×３の隣接する前記フィルタセルのブロックに
おいて、各セルに対応する出力をそれぞれ、第１列目の
左より１、２、１、同様に第２列目は２、４、２、第３
列目は１、２、１の割合で重み付けした荷重平均値をも
って、前記算出位置における画像の輝度とすることを特
徴としている。
【００２１】また、請求項１２に記載の本発明の画像処
理プログラムを記録した記録媒体は、３色のフィルタセ
ルを配列してなり、うち１色の代表色フィルタセルは市
松状に配置され、他の２色のフィルタセルは、それぞれ
同数ずつが１つの前記代表色フィルタセルに隣接するよ
うな各色の配置関係を保って構成される単版式カラーフ
ィルタを用いて、各フィルタセルに入射する光量に比例
した出力を撮像素子より得て、輝度と色度とからなるカ
ラー画像を撮像する際の画像処理プログラムを記録した
記録媒体において、カラー情報の算出位置を中央に含む
縦横３×３の隣接する前記フィルタセルのブロックにお
いて、各セルに対応する出力をそれぞれ、任意の係数ｆ
を用いて、第１列目の左より−ｆ、−３ｆ、−４ｆ、−
３ｆ、−ｆ、同様に第２列目は−３ｆ、９−９ｆ、１８
−１２ｆ、９−９ｆ、−３ｆ、第３列目は−４ｆ、１８
−１２ｆ、３６−１６ｆ、１８−１２ｆ、−４ｆ、第４
列目は−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−
３ｆ、第５列目は、−ｆ、−３ｆ、−４ｆ、−３ｆ、−
ｆの割合で重み付けした荷重平均値をもって、前記算出
位置における画像の輝度とすることを特徴としている。
理プログラムを記録した記録媒体は、３色のフィルタセ
ルを配列してなり、うち１色の代表色フィルタセルは市
松状に配置され、他の２色のフィルタセルは、それぞれ
同数ずつが１つの前記代表色フィルタセルに隣接するよ
うな各色の配置関係を保って構成される単版式カラーフ
ィルタを用いて、各フィルタセルに入射する光量に比例
した出力を撮像素子より得て、輝度と色度とからなるカ
ラー画像を撮像する際の画像処理プログラムを記録した
記録媒体において、カラー情報の算出位置を中央に含む
縦横３×３の隣接する前記フィルタセルのブロックにお
いて、各セルに対応する出力をそれぞれ、任意の係数ｆ
を用いて、第１列目の左より−ｆ、−３ｆ、−４ｆ、−
３ｆ、−ｆ、同様に第２列目は−３ｆ、９−９ｆ、１８
−１２ｆ、９−９ｆ、−３ｆ、第３列目は−４ｆ、１８
−１２ｆ、３６−１６ｆ、１８−１２ｆ、−４ｆ、第４
列目は−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−
３ｆ、第５列目は、−ｆ、−３ｆ、−４ｆ、−３ｆ、−
ｆの割合で重み付けした荷重平均値をもって、前記算出
位置における画像の輝度とすることを特徴としている。
【００２２】さらに、請求項１３の発明は請求項１１ま
たは請求項１２の発明において、前記撮像素子の出力
に、対応するフィルタセルの色ごとに異なる比例係数を
乗算する前処理を行うことを特徴としている。
たは請求項１２の発明において、前記撮像素子の出力
に、対応するフィルタセルの色ごとに異なる比例係数を
乗算する前処理を行うことを特徴としている。
【００２３】そして、請求項１４の発明は、請求項１１
ないし請求項１３の発明において、前記算出位置におけ
る色度は、算出位置を含む縦横２×２の隣接する前記フ
ィルタセルのブロックにおいて、ブロック内での各色に
対応する出力の平均値を求め、この各色平均値を用いて
算出することを特徴としている。
ないし請求項１３の発明において、前記算出位置におけ
る色度は、算出位置を含む縦横２×２の隣接する前記フ
ィルタセルのブロックにおいて、ブロック内での各色に
対応する出力の平均値を求め、この各色平均値を用いて
算出することを特徴としている。
【００２４】また、請求項１５の発明は、請求項１４の
発明において、算出した前記色度を、隣接する算出位置
との間で平滑化して用いることを特徴としている。
発明において、算出した前記色度を、隣接する算出位置
との間で平滑化して用いることを特徴としている。
【００２５】以上のように、本発明では、固体撮像装置
が備えるカラーフィルターが、３色で構成され、単位面
積あたり、ある色の数が残りの２色それぞれの数に対し
て２倍の数存在する特徴を持つ場合、特にＲＧＲＧ、Ｂ
ＧＢＧそれぞれの配列で構成される、ベイヤー型配列の
カラーフィルターを持つ固体撮像素子から得られた輝度
値を補間する方法において、適切なフィルタを用いるこ
とによって、補間対象のピクセルの位置やＲＧＢの種類
によって場合分けをする必要のない、荷重平均による補
間処理を実現できる。このような補間処理は並列化し易
く、デジタルスチルカメラなどの画像処理装置に実装し
た場合に短かい待ち時間で、良好な画質の出力画像を得
ることができる。
が備えるカラーフィルターが、３色で構成され、単位面
積あたり、ある色の数が残りの２色それぞれの数に対し
て２倍の数存在する特徴を持つ場合、特にＲＧＲＧ、Ｂ
ＧＢＧそれぞれの配列で構成される、ベイヤー型配列の
カラーフィルターを持つ固体撮像素子から得られた輝度
値を補間する方法において、適切なフィルタを用いるこ
とによって、補間対象のピクセルの位置やＲＧＢの種類
によって場合分けをする必要のない、荷重平均による補
間処理を実現できる。このような補間処理は並列化し易
く、デジタルスチルカメラなどの画像処理装置に実装し
た場合に短かい待ち時間で、良好な画質の出力画像を得
ることができる。
【００２６】また、輝度値情報と色差情報を分離し、色
差情報については輝度値情報と別の経路で補間すること
によって、従来の技術で問題となっていた輝度値が急激
に変化する部分での色差のずれを、適切な補間方法を選
択することによって回避できるという利点がある。
差情報については輝度値情報と別の経路で補間すること
によって、従来の技術で問題となっていた輝度値が急激
に変化する部分での色差のずれを、適切な補間方法を選
択することによって回避できるという利点がある。
【００２７】さらに、輝度値の補間処理で必要となる平
滑化と鮮鋭化の係数列処理を一括化することにより、中
間結果を補間するための記録装置を省略することができ
る。このことは低コストで補間処理系を構成できること
を示しており、ディジタルスチルカメラなどの組み込み
用途においてはコスト削減に効果的である。
滑化と鮮鋭化の係数列処理を一括化することにより、中
間結果を補間するための記録装置を省略することができ
る。このことは低コストで補間処理系を構成できること
を示しており、ディジタルスチルカメラなどの組み込み
用途においてはコスト削減に効果的である。
【００２８】
【発明の実施の形態】以下、本発明が行う画像補間処理
方法の実施の形態を、添付図面を参照しながら説明す
る。
方法の実施の形態を、添付図面を参照しながら説明す
る。
【００２９】なお、この実施の形態では固体撮像素子で
撮影されたデータを補間し、最終的にＲＧＢデータを出
力する系について説明する。
撮影されたデータを補間し、最終的にＲＧＢデータを出
力する系について説明する。
【００３０】図１に示すように、本実施の形態に係る固
体撮像素子処理系は、光学系や固体撮像素子を含む画像
入力部１０と画像入力部１０から送られてきたＲＧＢ信
号を輝度信号Ｙに変換する輝度変換部２０、輝度信号Ｙ
に対して乗算処理を行う荷重平均処理部３０、固体撮像
素子１０から送られてきたＲＧＢ信号をグループ化し、
色差信号Ｃに変換する色差変換・補間処理部４０、ＹＣ
からＲＧＢへ戻す処理を行うＹＣ−＞ＲＧＢ処理部５０
から構成されている。
体撮像素子処理系は、光学系や固体撮像素子を含む画像
入力部１０と画像入力部１０から送られてきたＲＧＢ信
号を輝度信号Ｙに変換する輝度変換部２０、輝度信号Ｙ
に対して乗算処理を行う荷重平均処理部３０、固体撮像
素子１０から送られてきたＲＧＢ信号をグループ化し、
色差信号Ｃに変換する色差変換・補間処理部４０、ＹＣ
からＲＧＢへ戻す処理を行うＹＣ−＞ＲＧＢ処理部５０
から構成されている。
【００３１】画像入力部１０で撮影されたＲＧＢ信号は
処理過程で輝度信号Ｙと色差信号Ｃに分離され、それぞ
れの信号を補間するブロックにより独立に補間処理がお
こなわれ、その二つの信号は最終的にＲＧＢ信号に復元
されて表示系やメモリに出力される。
処理過程で輝度信号Ｙと色差信号Ｃに分離され、それぞ
れの信号を補間するブロックにより独立に補間処理がお
こなわれ、その二つの信号は最終的にＲＧＢ信号に復元
されて表示系やメモリに出力される。
【００３２】画像入力部１０は、図２に示したベイヤー
配列の原色系カラーフィルタを備える。
配列の原色系カラーフィルタを備える。
【００３３】このフィルタはＧのピクセル数がＲ、Ｂに
比べて２倍あり、輝度情報をより多く得られる配列とな
っている。一般的にＧのピクセル数がＲ、Ｂに比べて２
倍あるフィルタがよく使われている。本実施例では原色
系ベイヤー配列のカラーフィルタを用いているが、本発
明の画像補間処理方法は、カラーフィルタの特性に合わ
せて適宜輝度変換部２０と色差変換・補間処理部４０の
動作を変更することにより、補色系カラーフィルタや、
非ベイヤー配列のフィルタを使用した固体撮像素子から
得られたデータにも適用できる。
比べて２倍あり、輝度情報をより多く得られる配列とな
っている。一般的にＧのピクセル数がＲ、Ｂに比べて２
倍あるフィルタがよく使われている。本実施例では原色
系ベイヤー配列のカラーフィルタを用いているが、本発
明の画像補間処理方法は、カラーフィルタの特性に合わ
せて適宜輝度変換部２０と色差変換・補間処理部４０の
動作を変更することにより、補色系カラーフィルタや、
非ベイヤー配列のフィルタを使用した固体撮像素子から
得られたデータにも適用できる。
【００３４】画像入力部１０から出力されたＲＧＢデー
タは２つに分岐して輝度変換部２０と色差変換・補間処
理部４０に入力される。２つに別れたＲＧＢデータの一
方の経路である輝度変換部２０では各画素の入力データ
に対してＲＧＢそれぞれの場合に対応した輝度変換係数
がかけられ、輝度値画像に変換されて荷重平均処理部３
０に入力される。
タは２つに分岐して輝度変換部２０と色差変換・補間処
理部４０に入力される。２つに別れたＲＧＢデータの一
方の経路である輝度変換部２０では各画素の入力データ
に対してＲＧＢそれぞれの場合に対応した輝度変換係数
がかけられ、輝度値画像に変換されて荷重平均処理部３
０に入力される。
【００３５】なお、輝度値はＲＧＢすべての情報がそろ
っている場合に計算できるものであり、固体撮像素子の
物理的制限で、各ピクセルは単色の情報しか持たないた
め、輝度変換係数をかけたものは、厳密には輝度値と呼
べない。
っている場合に計算できるものであり、固体撮像素子の
物理的制限で、各ピクセルは単色の情報しか持たないた
め、輝度変換係数をかけたものは、厳密には輝度値と呼
べない。
【００３６】本来は、補間処理によって得られる画像が
真の輝度値を表しているが、ここでは輝度値変換係数を
かけ変換を行った情報と補間後の情報を共に輝度値と呼
ぶことにする。
真の輝度値を表しているが、ここでは輝度値変換係数を
かけ変換を行った情報と補間後の情報を共に輝度値と呼
ぶことにする。
【００３７】ところで、ここで示した輝度変換係数は、
たとえばＮＴＳＣのＲＧＢ３刺激値に対しては、それぞ
れＲ:０.２９８８、Ｇ:０.５８６８、Ｂ:０.１１４４の
値が用いられる。
たとえばＮＴＳＣのＲＧＢ３刺激値に対しては、それぞ
れＲ:０.２９８８、Ｇ:０.５８６８、Ｂ:０.１１４４の
値が用いられる。
【００３８】この輝度変換部２０ではＲＧＢすべての情
報を輝度値に変換しているが、たとえばＧの色を持つフ
ィルタを通過した光の感度曲線が輝度値特性と似ている
という理由から、Ｇの情報だけを抽出して輝度値の補間
を行う方法を用いてもよい。しかし、Ｒ、Ｂの輝度値情
報も含めて補間を行ったほうが情報量が増えるため、出
力結果の輪郭など細かい部分の再現性がよい。
報を輝度値に変換しているが、たとえばＧの色を持つフ
ィルタを通過した光の感度曲線が輝度値特性と似ている
という理由から、Ｇの情報だけを抽出して輝度値の補間
を行う方法を用いてもよい。しかし、Ｒ、Ｂの輝度値情
報も含めて補間を行ったほうが情報量が増えるため、出
力結果の輪郭など細かい部分の再現性がよい。
【００３９】また、荷重平均処理部３０では入力された
輝度値画像から３×３の要素を抽出し、それらの値に上
段から順に(１、２、１)(２、４、２)(１、２、１)の比
で構成される荷重をそれぞれかけ、それらの和を３×３
の要素の中心に対応する位置の出力とする処理を行う。
なお、ここで行う処理は、対応する位置にあるデータ
に、前記の荷重をかけた結果を得ることが目的であり、
同じ結果が得られる限り、演算の順番を変えたり演算を
一括化するなど、これに相当する処理を用いてもよい。
具体的には異なる要素にかけられる係数の値が同じ場合
に、異なる要素をあらかじめ足しておいて乗算回数を減
らした処理や、各要素に(１、２、１)(２、４、２)
(１、２、１)の値をかけたものをそれぞれの位置に対応
する出力バッファに加算していく処理などが考えられ
る。
輝度値画像から３×３の要素を抽出し、それらの値に上
段から順に(１、２、１)(２、４、２)(１、２、１)の比
で構成される荷重をそれぞれかけ、それらの和を３×３
の要素の中心に対応する位置の出力とする処理を行う。
なお、ここで行う処理は、対応する位置にあるデータ
に、前記の荷重をかけた結果を得ることが目的であり、
同じ結果が得られる限り、演算の順番を変えたり演算を
一括化するなど、これに相当する処理を用いてもよい。
具体的には異なる要素にかけられる係数の値が同じ場合
に、異なる要素をあらかじめ足しておいて乗算回数を減
らした処理や、各要素に(１、２、１)(２、４、２)
(１、２、１)の値をかけたものをそれぞれの位置に対応
する出力バッファに加算していく処理などが考えられ
る。
【００４０】ところで、荷重平均処理部３０において用
いる荷重は、あらかじめＲＢから得られる輝度値データ
に係数２.０をかけておくことで、補間対象ピクセルの
ＲＧＢの種類、位置によらずに等価な補間結果が得られ
るという特徴を持っている。
いる荷重は、あらかじめＲＢから得られる輝度値データ
に係数２.０をかけておくことで、補間対象ピクセルの
ＲＧＢの種類、位置によらずに等価な補間結果が得られ
るという特徴を持っている。
【００４１】このように補間方法が補間対象ピクセルの
ＲＧＢの種類、位置に依存しないことでハードウェアに
よる並列化が容易となり、良好な画質の出力画像を短時
間に得ることができるという利点がある。
ＲＧＢの種類、位置に依存しないことでハードウェアに
よる並列化が容易となり、良好な画質の出力画像を短時
間に得ることができるという利点がある。
【００４２】さらにこの荷重平均処理部３０で用いる係
数列に、平滑化フィルタと鮮鋭化フィルタを組み合わせ
た効果を持たせることで、二つのフィルタを独立に適用
した場合よりも少ないメモリ量で、良好な画質の輝度値
画像を得ることができる。
数列に、平滑化フィルタと鮮鋭化フィルタを組み合わせ
た効果を持たせることで、二つのフィルタを独立に適用
した場合よりも少ないメモリ量で、良好な画質の輝度値
画像を得ることができる。
【００４３】具体的には第１行に１、２、１、第２行に
２、４、２、第３行に１、２、１という比の要素で構成
される３×３平滑化フィルタに加え、鮮鋭化の度合いを
示す係数fを要素に含み、第１行に−f、−f、−f、第２
行に−f、９−f、−f、第３行に−f、−f、−fという比
の要素で構成される鮮鋭化フィルタの効果を組み合わ
せ、第１行は−f、−３f、−４f、−３f、−f、第２行
は−３f、９−９f、１８−１２f、９−９f、−３f、第
３行は−４f、１８−１２ｆ、３６−１６f、１８−１２
f、−４f、第４行は−３f、９−９ｆ、１８−１２f、９
−９f、−３f、第５行は−f、−３f、−４f、−３f、−
fの比の要素で構成される係数列を用いて、実現され
る。
２、４、２、第３行に１、２、１という比の要素で構成
される３×３平滑化フィルタに加え、鮮鋭化の度合いを
示す係数fを要素に含み、第１行に−f、−f、−f、第２
行に−f、９−f、−f、第３行に−f、−f、−fという比
の要素で構成される鮮鋭化フィルタの効果を組み合わ
せ、第１行は−f、−３f、−４f、−３f、−f、第２行
は−３f、９−９f、１８−１２f、９−９f、−３f、第
３行は−４f、１８−１２ｆ、３６−１６f、１８−１２
f、−４f、第４行は−３f、９−９ｆ、１８−１２f、９
−９f、−３f、第５行は−f、−３f、−４f、−３f、−
fの比の要素で構成される係数列を用いて、実現され
る。
【００４４】この平滑化、鮮鋭化を一括化した処理につ
いても、入力された輝度値画像から５ｘ５の要素を抽出
し、それらの値に上段から順に前記の係数列の値をそれ
ぞれかけ、それらの和を５ｘ５の要素の中心に対応する
位置の出力とする処理を行う。なお、５ｘ５の場合で
も、対応する位置にあるデータに、前記の係数列をかけ
た結果を得ることがこの処理の目的であり、実装では同
じ結果が得られる限り、演算の順番を変えたり、演算を
一括化するなど、これに相当する処理を用いてもよい。
いても、入力された輝度値画像から５ｘ５の要素を抽出
し、それらの値に上段から順に前記の係数列の値をそれ
ぞれかけ、それらの和を５ｘ５の要素の中心に対応する
位置の出力とする処理を行う。なお、５ｘ５の場合で
も、対応する位置にあるデータに、前記の係数列をかけ
た結果を得ることがこの処理の目的であり、実装では同
じ結果が得られる限り、演算の順番を変えたり、演算を
一括化するなど、これに相当する処理を用いてもよい。
【００４５】具体的には異なる要素にかけられる係数の
値が同じ場合に、異なる要素をあらかじめ足しておいて
乗算回数を減らした処理や、各要素に前記係数列の値を
かけたものをそれぞれの位置に対応する出力バッファに
加算していく処理などが考えられる。
値が同じ場合に、異なる要素をあらかじめ足しておいて
乗算回数を減らした処理や、各要素に前記係数列の値を
かけたものをそれぞれの位置に対応する出力バッファに
加算していく処理などが考えられる。
【００４６】例として鮮鋭化係数f＝０.７５ の場合の
平滑化・鮮鋭化の効果がある荷重配列を図３に示す。
平滑化・鮮鋭化の効果がある荷重配列を図３に示す。
【００４７】この５ｘ５の係数列を用いた場合の荷重平
均処理部３０での処理は一つのピクセルにつき、４回の
掛け算、および２５回のメモリに対する加算が必要であ
る。
均処理部３０での処理は一つのピクセルにつき、４回の
掛け算、および２５回のメモリに対する加算が必要であ
る。
【００４８】一方、平滑化処理と鮮鋭化処理を一括化し
ない場合には、一つのピクセルにつき、４回の掛け算、
および１８回のメモリに対する加算が必要である。
ない場合には、一つのピクセルにつき、４回の掛け算、
および１８回のメモリに対する加算が必要である。
【００４９】処理量を比べると独立して処理した場合の
ほうが一括化した場合よりも少ないが、平滑化と鮮鋭化
それぞれについて荷重平均処理部が必要であるというこ
とと、データの受け渡しのために中間結果を保存するメ
モリが必要となることの二つの問題があるため、この二
つの処理は一括化したほうがコスト的に有利である。
ほうが一括化した場合よりも少ないが、平滑化と鮮鋭化
それぞれについて荷重平均処理部が必要であるというこ
とと、データの受け渡しのために中間結果を保存するメ
モリが必要となることの二つの問題があるため、この二
つの処理は一括化したほうがコスト的に有利である。
【００５０】また、分岐したもう一方のＲＧＢデータが
入力される色差変換・補間処理部４０では、固体撮像素
子がベイヤー型のカラーフィルタを備えている場合、入
力されたＲＧＢデータを図４に示すように対象ピクセル
近傍のＲＧＢの配置によって４パターンに場合分けして
ＲＧＢの情報を持つ一つのグループとして扱い、Ｒ＝Ｒ
１、Ｇ＝（Ｇ１＋Ｇ２）/２、Ｂ＝Ｂ１これらの式から
求められるＲＧＢから色差情報を計算し、その値をＲＧ
Ｂへの再計算に用いている。
入力される色差変換・補間処理部４０では、固体撮像素
子がベイヤー型のカラーフィルタを備えている場合、入
力されたＲＧＢデータを図４に示すように対象ピクセル
近傍のＲＧＢの配置によって４パターンに場合分けして
ＲＧＢの情報を持つ一つのグループとして扱い、Ｒ＝Ｒ
１、Ｇ＝（Ｇ１＋Ｇ２）/２、Ｂ＝Ｂ１これらの式から
求められるＲＧＢから色差情報を計算し、その値をＲＧ
Ｂへの再計算に用いている。
【００５１】輝度をＹ、色差を Ｕ、Ｖ とした場合の
色差情報は、
色差情報は、
【００５２】から求められる。
【００５３】この色差変換・補間処理部４０で行うＲＧ
ＢからＹＵＶへの変換処理は、ＲＧＢ値に対する３×３
行列演算によって表現することができる。
ＢからＹＵＶへの変換処理は、ＲＧＢ値に対する３×３
行列演算によって表現することができる。
【００５４】なお、この色差情報を直接ＲＧＢデータへ
の再計算に用いず、図５に示すような１３グループの平
均として計算した結果を用いてもよい。このように１３
グループの平均値を使用することにより、従来の技術の
問題点であった色ずれを減少させることができる。
の再計算に用いず、図５に示すような１３グループの平
均として計算した結果を用いてもよい。このように１３
グループの平均値を使用することにより、従来の技術の
問題点であった色ずれを減少させることができる。
【００５５】さらに、その他適切な色差情報補間方法を
選択し、上記輝度値補間方法と組み合わせてＲＧＢデー
タを再計算する方法を用いてもよい。
選択し、上記輝度値補間方法と組み合わせてＲＧＢデー
タを再計算する方法を用いてもよい。
【００５６】すなわち、固体撮像素子がベイヤー型配列
ではない原色系カラーフィルタを用いている場合や、ベ
イヤー型配列の原色系カラーフィルタを用いている場合
でも、それらのデータに対して適切な補間方法を利用し
て、上記輝度値補間方法によって得られた輝度値データ
と併せて、ＲＧＢデータへの再計算を行ってもよい。
ではない原色系カラーフィルタを用いている場合や、ベ
イヤー型配列の原色系カラーフィルタを用いている場合
でも、それらのデータに対して適切な補間方法を利用し
て、上記輝度値補間方法によって得られた輝度値データ
と併せて、ＲＧＢデータへの再計算を行ってもよい。
【００５７】そして、ＹＣ−＞ＲＧＢ処理部５０では荷
重平均処理部３０から入力される輝度値データと色差変
換・補間処理部４０から入力される色差データからＲＧ
Ｂデータを再計算し、カラー画像データを出力する。
重平均処理部３０から入力される輝度値データと色差変
換・補間処理部４０から入力される色差データからＲＧ
Ｂデータを再計算し、カラー画像データを出力する。
【００５８】また、ここで行うＹＵＶからＲＧＢへの変
換もＲＧＢからＹＵＶへの変換と同様に３×３行列演算
で表現することができる。
換もＲＧＢからＹＵＶへの変換と同様に３×３行列演算
で表現することができる。
【００５９】従来の技術では、画像入力部１０から出力
されるＲＧＢデータを直接補間処理してＲＧＢデータを
出力していたため、輪郭付近で色ずれが発生し、画質の
面で劣っていたが、本発明で説明する方法および装置で
は、輝度情報と色差情報を分離して補間を行っているた
め、良好な出力画像を得ることが可能である。
されるＲＧＢデータを直接補間処理してＲＧＢデータを
出力していたため、輪郭付近で色ずれが発生し、画質の
面で劣っていたが、本発明で説明する方法および装置で
は、輝度情報と色差情報を分離して補間を行っているた
め、良好な出力画像を得ることが可能である。
【００６０】さらに、このシステムは単純な行列フィル
タによる輝度値補間処理と単純な場合分けによる色差情
報の補間処理を使用しているため、処理の並列化が容易
であり、高画質の出力が得られるリアルタイム撮像装置
などへの応用が可能である。
タによる輝度値補間処理と単純な場合分けによる色差情
報の補間処理を使用しているため、処理の並列化が容易
であり、高画質の出力が得られるリアルタイム撮像装置
などへの応用が可能である。
【００６１】次に、この処理系をディジタルスチルカメ
ラ装置として実現した場合の実施の形態を図６を用いて
説明する。
ラ装置として実現した場合の実施の形態を図６を用いて
説明する。
【００６２】ここで示したディジタルスチルカメラ装置
は、光学系デバイスを含む固体撮像素子１１０と固体撮
像素子１１０を制御し、データをその後の処理部に渡す
役割を持つ固体撮像素子制御手段１２０、取得した画像
データを一時記憶（あるいは記録）する画像データ記憶
（あるいは記録）手段１３０、画像データの補間処理を
行う補間処理部１４０、表示系に送り出すためのデータ
を記憶（あるいは記録）する表示メモリ１５０、画像デ
ータの表示を行う表示手段１６０から構成されている。
は、光学系デバイスを含む固体撮像素子１１０と固体撮
像素子１１０を制御し、データをその後の処理部に渡す
役割を持つ固体撮像素子制御手段１２０、取得した画像
データを一時記憶（あるいは記録）する画像データ記憶
（あるいは記録）手段１３０、画像データの補間処理を
行う補間処理部１４０、表示系に送り出すためのデータ
を記憶（あるいは記録）する表示メモリ１５０、画像デ
ータの表示を行う表示手段１６０から構成されている。
【００６３】以下に、この装置が画像を撮影して表示装
置に画像が表示されるまでの処理の流れを示す。
置に画像が表示されるまでの処理の流れを示す。
【００６４】固体撮像素子１１０によって制御された固
体撮像素子が画像を撮影し、そのデータは固体撮像素子
１１０を経由し、画像データ記憶（あるいは記録）手段
１３０に一時記録される。このデータは一つの画素につ
き１色の情報しかもたないため、近隣ピクセルの情報を
用いた補間処理を行う補間処理部１４０に読みこまれ、
補間処理が行われる。
体撮像素子が画像を撮影し、そのデータは固体撮像素子
１１０を経由し、画像データ記憶（あるいは記録）手段
１３０に一時記録される。このデータは一つの画素につ
き１色の情報しかもたないため、近隣ピクセルの情報を
用いた補間処理を行う補間処理部１４０に読みこまれ、
補間処理が行われる。
【００６５】この補間処理結果は表示メモリに送られ、
その情報は表示手段１６０によって読みだされ、カラー
画像として表示される。
その情報は表示手段１６０によって読みだされ、カラー
画像として表示される。
【００６６】この図６には本発明を説明するに必要な構
成要素のみしか含まれていないが、たとえばデジタルビ
デオカメラのような情報記録機器であれば、それに必要
なさまざまな要素が設けられることは勿論である。
成要素のみしか含まれていないが、たとえばデジタルビ
デオカメラのような情報記録機器であれば、それに必要
なさまざまな要素が設けられることは勿論である。
【００６７】図６での固体撮像素子１１０と固体撮像素
子制御手段１２０が実際に行う処理は、図２での画像入
力部１０が行う処理に対応する。
子制御手段１２０が実際に行う処理は、図２での画像入
力部１０が行う処理に対応する。
【００６８】なお、一般的にはＣＣＤやＣＭＯＳデバイ
スが固体撮像素子として用いられているが、その他の入
力デバイスを固体撮像素子として用いてもよい。
スが固体撮像素子として用いられているが、その他の入
力デバイスを固体撮像素子として用いてもよい。
【００６９】画像データ記憶（あるいは記録）手段１３
０は、撮影後の一時記憶（あるいは記録）として用いる
ものとするが、この画像データ記憶（あるいは記録）手
段１３０を中間処理結果記憶（あるいは記録）手段とし
て兼ねる実装方法をとってもよい。つまり、画像処理中
の中間処理結果記憶（あるいは記録）手段を補間処理部
に持つ実装方法を使用したほうが、より高速な処理が行
えると考えられるが、速度とコストとのトレードオフに
なると考えられる。
０は、撮影後の一時記憶（あるいは記録）として用いる
ものとするが、この画像データ記憶（あるいは記録）手
段１３０を中間処理結果記憶（あるいは記録）手段とし
て兼ねる実装方法をとってもよい。つまり、画像処理中
の中間処理結果記憶（あるいは記録）手段を補間処理部
に持つ実装方法を使用したほうが、より高速な処理が行
えると考えられるが、速度とコストとのトレードオフに
なると考えられる。
【００７０】補間処理部１４０は、本発明の方法の特徴
である、単純な補間処理の並列化を実現するため、可能
な限りハードウェア化し、高速な処理が行えるものとす
るべきであるが、補間処理部１４０内部の処理部を汎用
ＣＰＵに置き換え、補間処理プログラムを別の記憶（あ
るいは記録）装置に蓄えたディジタルスチルカメラの実
装も考えられる。
である、単純な補間処理の並列化を実現するため、可能
な限りハードウェア化し、高速な処理が行えるものとす
るべきであるが、補間処理部１４０内部の処理部を汎用
ＣＰＵに置き換え、補間処理プログラムを別の記憶（あ
るいは記録）装置に蓄えたディジタルスチルカメラの実
装も考えられる。
【００７１】なお、図６では補間処理部で出力されたデ
ータは表示メモリ１５０へと出力されているが、実際の
ディジタルスチルカメラでは、この間に白色に見える色
の調整するホワイトバランス調整をする処理が入る実装
も考えられる。
ータは表示メモリ１５０へと出力されているが、実際の
ディジタルスチルカメラでは、この間に白色に見える色
の調整するホワイトバランス調整をする処理が入る実装
も考えられる。
【００７２】表示メモリ１５０は補間処理部１４０から
出力されたカラー画像データを一時記憶（あるいは記
録）し、カラー画像表示を行う表示手段１６０へ出力す
るものである。
出力されたカラー画像データを一時記憶（あるいは記
録）し、カラー画像表示を行う表示手段１６０へ出力す
るものである。
【００７３】この図６で示したような装置は、従来の技
術を補間処理部に用いた装置よりも低コストで製造で
き、さらに並列化をすすめることによって高速に処理を
行うことができ、かつ良好な画質を持つ出力画像が得ら
れる特徴がある。
術を補間処理部に用いた装置よりも低コストで製造で
き、さらに並列化をすすめることによって高速に処理を
行うことができ、かつ良好な画質を持つ出力画像が得ら
れる特徴がある。
【００７４】また、以上説明した本発明の画像補間処理
を行う処理プログラムは、フロッピィディスク、光ディ
スク、ハードディスクなどの記録媒体に記録させておく
ことができ、本発明はその記録媒体をも含むものであ
る。また、ネットワークから処理プログラムを得るよう
にしてもよい。
を行う処理プログラムは、フロッピィディスク、光ディ
スク、ハードディスクなどの記録媒体に記録させておく
ことができ、本発明はその記録媒体をも含むものであ
る。また、ネットワークから処理プログラムを得るよう
にしてもよい。
【００７５】
【発明の効果】以上説明したように本発明によれば、補
間対象のピクセルの位置やＲＧＢの種類によって場合分
けをする必要のない補間処理を実現でき、このような補
間処理はハードウェア化、並列化し易く、短い処理時間
で良好な画質の出力画像を得ることができる。
間対象のピクセルの位置やＲＧＢの種類によって場合分
けをする必要のない補間処理を実現でき、このような補
間処理はハードウェア化、並列化し易く、短い処理時間
で良好な画質の出力画像を得ることができる。
【００７６】また、色差情報と輝度値情報とを別の経路
で補間することによって、輝度値が急激に変化する部分
での色差のずれを回避できるという利点がある。
で補間することによって、輝度値が急激に変化する部分
での色差のずれを回避できるという利点がある。
【００７７】さらに、平滑化と鮮鋭化の係数列処理を一
括化することにより、中間結果保存のための記録装置を
省略することができるので、低コストで補間処理系を構
成することが可能となる。
括化することにより、中間結果保存のための記録装置を
省略することができるので、低コストで補間処理系を構
成することが可能となる。
【図１】 画像処理系全体のブロック図。
【図２】 ベイヤー配列のカラーフィルタの説明図。
【図３】 輝度値補間・鮮鋭化処理用荷重配列の説明
図。
図。
【図４】 色差情報を計算する時に行うグループ化の説
明図。
明図。
【図５】 色差情報の平均範囲についての説明図。
【図６】 ディジタルスチルカメラのブロック図。
１０ 画像入力部 ２０ 輝度変換部 ３０ 荷重平均処理部 ４０ 色差変換・補間処理部 ５０ ＹＣ−＞ＲＧＢ処理部 １１０ 固体撮像素子 １２０ 固体撮像素子制御手段 １３０ 画像データ記録手段 １４０ 補間処理部 １５０ 表示メモリ １６０ 表示手段
フロントページの続き Ｆターム(参考） 5B047 AB04 BC07 5B057 BA02 BA12 BA15 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CD06 CE18 5C065 AA01 AA03 CC02 CC03 DD17 EE05 EE06 GG13 GG17 GG23 GG30 5C072 BA19 DA09 QA10 UA18 5C079 HB01 HB11 JA13 JA22 LA17 NA01 NA25
Claims (15)
- 【請求項１】３色のフィルタセルを配列してなり、うち
１色の代表色フィルタセルは市松状に配置され、他の２
色のフィルタセルは、それぞれ同数ずつが１つの前記代
表色フィルタセルに隣接するような各色の配置関係を保
って構成される単版式カラ−フィルタを用いて、各フィ
ルタセルに入射する光量に比例した出力を撮像素子より
得て、輝度と色度とからなるカラー画像を撮像する際の
画像処理方法において、 カラー情報の算出位置を中央に含む縦横３×３の隣接す
る前記フィルタセルのブロックにおいて、各セルに対応
する出力をそれぞれ、第１列目の左より１、２、１、同
様に第２列目は２、４、２、第３列目は１、２、１の割
合で重み付けした荷重平均値をもって、前記算出位置に
おける画像の輝度とすることを特徴とする画像処理方
法。 - 【請求項２】３色のフィルタセルを配列してなり、うち
１色の代表色フィルタセルは市松状に配置され、他の２
色のフィルタセルは、それぞれ同数ずつが１つの前記代
表色フィルタセルに隣接するような各色の配置関係を保
って構成される単版式カラーフィルタを用いて、各フィ
ルタセルに入射する光量に比例した出力を撮像素子より
得て、輝度と色度とからなるカラー画像を撮像する際の
画像処理方法において、 カラー情報の算出位置を中央に含む縦横３×３の隣接す
る前記フィルタセルのブロックにおいて、各セルに対応
する出力をそれぞれ、任意の係数ｆを用いて、第１列目
の左より−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆ、同様に
第２列目は−３ｆ、９−９ｆ、１８−１２ｆ、９−９
ｆ、−３ｆ、第３列目は−４ｆ、１８−１２ｆ、３６−
１６ｆ、１８−１２ｆ、−４ｆ、第４列目は−３ｆ、９
−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆ、第５列目
は、−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で重み
付けした荷重平均値をもって、前記算出位置における画
像の輝度とすることを特徴とする画像処理方法。 - 【請求項３】前記撮像素子の出力に、対応するフィルタ
セルの色ごとに異なる比例係数を乗算する前処理を行う
ことを特徴とする請求項１または請求項２に記載の画像
処理方法。 - 【請求項４】前記算出位置における色度は、算出位置を
含む縦横２×２の隣接する前記フィルタセルのブロック
において、ブロック内での各色に対応する出力の平均値
を求め、この各色平均値を用いて算出することを特徴と
する請求項１ないし請求項３に記載の画像処理方法。 - 【請求項５】算出した前記色度を、隣接する算出位置と
の間で平滑化して用いることを特徴とする請求項４に記
載の画像処理方法。 - 【請求項６】画像入力手段とこの画像を補間する処理部
と、これら各手段を制御する制御手段とを少なくとも有
し、３色のフィルタセルを配列してなり、うち１色の代
表色フィルタセルは市松状に配置され、他の２色のフィ
ルタセルは、それぞれ同数ずつが１つの前記代表色フィ
ルタセルに隣接するような各色の配置関係を保って構成
される単版式カラーフィルタを用いて、各フィルタセル
に入射する光量に比例した出力を撮像素子より得て、輝
度と色度とからなるカラー画像を撮像する画像処理装置
において、 カラー情報の算出位置を中央に含む縦横３×３の隣接す
る前記フィルタセルのブロックにおいて、各セルに対応
する出力をそれぞれ、任意の係数ｆを用いて、第１列目
の左より−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆ、同様に
第２列目は−３ｆ、９−９ｆ、１８−１２ｆ、９−９
ｆ、−３ｆ、第３列目は−４ｆ、１８−１２ｆ、３６−
１６ｆ、１８−１２ｆ、−４ｆ、第４列目は−３ｆ、９
−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆ、第５列目
は、−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で重み
付けした荷重平均値をもって、前記算出位置における画
像の輝度とすることを特徴とする画像処理装置。 - 【請求項７】画像入力手段とこの画像を補間する処理部
と、これら各手段を制御する制御手段とを少なくとも有
し、３色のフィルタセルを配列してなり、うち１色の代
表色フィルタセルは市松状に配置され、他の２色のフィ
ルタセルは、それぞれ同数ずつが１つの前記代表色フィ
ルタセルに隣接するような各色の配置関係を保って構成
される単版式カラーフィルタを用いて、各フィルタセル
に入射する光量に比例した出力を撮像素子より得て、輝
度と色度とからなるカラー画像を撮像する画像処理装置
において、 カラー情報の算出位置を中央に含む縦横３×３の隣接す
る前記フィルタセルのブロックにおいて、各セルに対応
する出力をそれぞれ、任意の係数ｆを用いて、第１列目
の左より−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆ、同様に
第２列目は−３ｆ、９−９ｆ、１８−１２ｆ、９−９
ｆ、−３ｆ、第３列目は−４ｆ、１８−１２ｆ、３６−
１６ｆ、１８−１２ｆ、−４ｆ、第４列目は−３ｆ、９
−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆ、第５列目
は、−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で重み
付けした荷重平均値をもって、前記算出位置における画
像の輝度とすることを特徴とする画像処理装置。 - 【請求項８】前記撮像素子の出力に、対応するフィルタ
セルの色ごとに異なる比例係数を乗算する前処理を行う
ことを特徴とする請求項６または請求項７に記載の画像
処理装置。 - 【請求項９】前記算出位置における色度は、算出位置を
含む縦横２×２の隣接する前記フィルタセルのブロック
において、ブロック内での各色に対応する出力の平均値
を求め、この各色平均値を用いて算出することを特徴と
する請求項６ないし請求項８に記載の画像処理装置。 - 【請求項１０】算出した前記色度を、隣接する算出位置
との間で平滑化して用いることを特徴とする請求項９に
記載の画像処理装置。 - 【請求項１１】３色のフィルタセルを配列してなり、う
ち１色の代表色フィルタセルは市松状に配置され、他の
２色のフィルタセルは、それぞれ同数ずつが１つの前記
代表色フィルタセルに隣接するような各色の配置関係を
保って構成される単版式カラーフィルタを用いて、各フ
ィルタセルに入射する光量に比例した出力を撮像素子よ
り得て、輝度と色度とからなるカラー画像を撮像する際
の画像処理プログラムを記録した記録媒体において、 カラー情報の算出位置を中央に含む縦横３×３の隣接す
る前記フィルタセルのブロックにおいて、各セルに対応
する出力をそれぞれ、第１列目の左より１、２、１、同
様に第２列目は２、４、２、第３列目は１、２、１の割
合で重み付けした荷重平均値をもって、前記算出位置に
おける画像の輝度とすることを特徴とする画像処理プロ
グラムを記録した記録媒体。 - 【請求項１２】３色のフィルタセルを配列してなり、う
ち１色の代表色フィルタセルは市松状に配置され、他の
２色のフィルタセルは、それぞれ同数ずつが１つの前記
代表色フィルタセルに隣接するような各色の配置関係を
保って構成される単版式カラーフィルタを用いて、各フ
ィルタセルに入射する光量に比例した出力を撮像素子よ
り得て、輝度と色度とからなるカラー画像を撮像する際
の画像処理プログラムを記録した記録媒体において、 カラー情報の算出位置を中央に含む縦横３×３の隣接す
る前記フィルタセルのブロックにおいて、各セルに対応
する出力をそれぞれ、任意の係数ｆを用いて、第１列目
の左より−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆ、同様に
第２列目は−３ｆ、９−９ｆ、１８−１２ｆ、９−９
ｆ、−３ｆ、第３列目は−４ｆ、１８−１２ｆ、３６−
１６ｆ、１８−１２ｆ、−４ｆ、第４列目は−３ｆ、９
−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆ、第５列目
は、−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で重み
付けした荷重平均値をもって、前記算出位置における画
像の輝度とすることを特徴とする画像処理プログラムを
記録した記録媒体。 - 【請求項１３】前記撮像素子の出力に、対応するフィル
タセルの色ごとに異なる比例係数を乗算する前処理を行
うことを特徴とする請求項１１または請求項１２に記載
の画像処理プログラムを記録した記録媒体。 - 【請求項１４】前記算出位置における色度は、算出位置
を含む縦横２×２の隣接する前記フィルタセルのブロッ
クにおいて、ブロック内での各色に対応する出力の平均
値を求め、この各色平均値を用いて算出することを特徴
とする請求項１１ないし請求項１３に記載の画像処理プ
ログラムを記録した記録媒体。 - 【請求項１５】算出した前記色度を、隣接する算出位置
との間で平滑化して用いることを特徴とする請求項１４
に記載の画像処理プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08693499A JP3777861B2 (ja) | 1999-03-29 | 1999-03-29 | 画像処理方法及び画像処理装置並びに画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08693499A JP3777861B2 (ja) | 1999-03-29 | 1999-03-29 | 画像処理方法及び画像処理装置並びに画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000287219A true JP2000287219A (ja) | 2000-10-13 |
| JP3777861B2 JP3777861B2 (ja) | 2006-05-24 |
Family
ID=13900708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08693499A Expired - Fee Related JP3777861B2 (ja) | 1999-03-29 | 1999-03-29 | 画像処理方法及び画像処理装置並びに画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3777861B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006011618A (ja) * | 2004-06-23 | 2006-01-12 | Noritsu Koki Co Ltd | 写真画像処理方法及びその装置 |
| US7102655B2 (en) | 2001-05-24 | 2006-09-05 | Matsushita Electric Industrial Co., Ltd. | Display method and display equipment |
| JP2007129671A (ja) * | 2005-11-01 | 2007-05-24 | Magnachip Semiconductor Ltd | イメージセンサの画質改善装置及びその方法 |
| US7227574B2 (en) | 2003-02-05 | 2007-06-05 | Minolta Co., Ltd. | Image capturing apparatus |
| JP2007159141A (ja) * | 2005-12-07 | 2007-06-21 | Olypmus Soft Imaging Solutions Gmbh | 色補正計算方法 |
| US8289431B2 (en) | 2008-06-05 | 2012-10-16 | Canon Kabushiki Kaisha | Image sensing device and image sensing system |
-
1999
- 1999-03-29 JP JP08693499A patent/JP3777861B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7102655B2 (en) | 2001-05-24 | 2006-09-05 | Matsushita Electric Industrial Co., Ltd. | Display method and display equipment |
| US7227574B2 (en) | 2003-02-05 | 2007-06-05 | Minolta Co., Ltd. | Image capturing apparatus |
| JP2006011618A (ja) * | 2004-06-23 | 2006-01-12 | Noritsu Koki Co Ltd | 写真画像処理方法及びその装置 |
| JP2007129671A (ja) * | 2005-11-01 | 2007-05-24 | Magnachip Semiconductor Ltd | イメージセンサの画質改善装置及びその方法 |
| JP4654118B2 (ja) * | 2005-11-01 | 2011-03-16 | クロステック・キャピタル，リミテッド・ライアビリティ・カンパニー | イメージセンサの画質改善装置及びその方法 |
| US8199216B2 (en) | 2005-11-01 | 2012-06-12 | Intellectual Ventures Ii Llc | Apparatus and method for improving image quality of image sensor |
| JP2007159141A (ja) * | 2005-12-07 | 2007-06-21 | Olypmus Soft Imaging Solutions Gmbh | 色補正計算方法 |
| US8289431B2 (en) | 2008-06-05 | 2012-10-16 | Canon Kabushiki Kaisha | Image sensing device and image sensing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3777861B2 (ja) | 2006-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5108172B2 (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
| CN1812592B (zh) | 用于处理滤色器阵列的图像数据的方法和设备 | |
| US7227574B2 (en) | Image capturing apparatus | |
| US7116358B1 (en) | Image processing circuit of image input device | |
| US7948543B2 (en) | Imaging apparatus provided with image scaling function and image data thinning-out readout function | |
| JP3735867B2 (ja) | 輝度信号生成装置 | |
| US8131071B2 (en) | Digital video camera non-integer-ratio Bayer domain scaler | |
| EP3547680A1 (en) | Image processing method and filter array | |
| US20070159542A1 (en) | Color filter array with neutral elements and color image formation | |
| CN102143322B (zh) | 摄像设备及其控制方法 | |
| US20100110222A1 (en) | Digital camera front-end architecture | |
| US20100141809A1 (en) | Image processing apparatus, image pickup apparatus, storage medium for storing image processing program, and image processing method | |
| US6809765B1 (en) | Demosaicing for digital imaging device using perceptually uniform color space | |
| JP2000078597A (ja) | デジタルカラ―イメ―ジ値の処理装置 | |
| JP3991011B2 (ja) | 画像信号処理装置 | |
| CN108122201A (zh) | 一种拜耳插值拉链效应去除方法 | |
| US7623705B2 (en) | Image processing method, image processing apparatus, and semiconductor device using one-dimensional filters | |
| WO2007145087A1 (ja) | 撮像装置及び信号処理方法 | |
| EP2728885B1 (en) | Imaging device and imaging program | |
| JP2000287219A (ja) | 画像処理方法及び画像処理装置並びに画像処理プログラムを記録した記録媒体 | |
| JP4246244B2 (ja) | 撮像装置 | |
| CN113242413B (zh) | 抗锯齿的rccb滤镜阵列插值计算方法及系统 | |
| JP3767367B2 (ja) | 撮像装置 | |
| JP2006262382A (ja) | 画像処理装置 | |
| Weerasinghe et al. | Method of color interpolation in a single sensor color camera using green channel separation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050519 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090310 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130310 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140310 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |