JP2004320301A - 画像圧縮装置及び画像処理システム - Google Patents
画像圧縮装置及び画像処理システム Download PDFInfo
- Publication number
- JP2004320301A JP2004320301A JP2003110057A JP2003110057A JP2004320301A JP 2004320301 A JP2004320301 A JP 2004320301A JP 2003110057 A JP2003110057 A JP 2003110057A JP 2003110057 A JP2003110057 A JP 2003110057A JP 2004320301 A JP2004320301 A JP 2004320301A
- Authority
- JP
- Japan
- Prior art keywords
- color
- unit
- image data
- image
- imaging signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/648—Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/04—Colour television systems using pulse code modulation
- H04N11/042—Codec means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Abstract
【課題】固体撮像素子から得られたカラー撮像信号を圧縮処理する手段の省電力化と小型化を図ることの可能な画像圧縮装置及び画像処理システムを提供する。
【解決手段】所定の色配列を有する色フィルタ１−１と、該色フィルタが貼付されカラー撮像信号を出力する固体撮像素子１−２と、カラー撮像信号に基づいて、その色空間は保ったまま、各色毎に、所定配列形式に変換を行って画像データ群を生成する前処理手段１−３と、画像データ群の空間周波数成分を算出する周波数変換部２−１と、空間周波数成分を量子化する量子化部２−２と、量子化されたデータを符号化する符号化部２−３とで、固体撮像素子から出力されるカラー撮像信号から、輝度信号、色差信号を生成する手段を不要とした画像処理装置を構成する。
【選択図】 図１
【解決手段】所定の色配列を有する色フィルタ１−１と、該色フィルタが貼付されカラー撮像信号を出力する固体撮像素子１−２と、カラー撮像信号に基づいて、その色空間は保ったまま、各色毎に、所定配列形式に変換を行って画像データ群を生成する前処理手段１−３と、画像データ群の空間周波数成分を算出する周波数変換部２−１と、空間周波数成分を量子化する量子化部２−２と、量子化されたデータを符号化する符号化部２−３とで、固体撮像素子から出力されるカラー撮像信号から、輝度信号、色差信号を生成する手段を不要とした画像処理装置を構成する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、カラー撮像信号を圧縮する画像圧縮装置、及びカラー撮像信号に対する圧縮、伸長及び再生処理とを行う画像処理システムに関し、特に、カプセル内視鏡や携帯電話等の比較的画質よりも省電力や小型化が要求される製品に用いて好適な画像圧縮装置、及び画像処理システムに関する。
【０００２】
【特許文献１】特開平１１−１１２９７７号公報
【０００３】
【従来の技術】
図１２は、一般的な画像処理システムの一例を示すブロック図である。図１２において、１０１ は撮像装置で、該撮像装置１０１ は、被写体からの光を受光し、受光量に応じたカラー撮像信号を出力する固体撮像素子を備えており、固体撮像素子からのカラー撮像信号が画像データとして転送される。画像データの効率的な転送を図るために、画像データは、通常、画像データ圧縮装置１０２ の処理を介して転送される。画像データ圧縮装置１０２ は、入力された画像データに対してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｈｉｃ ＥｘｐｅｒｔＧｒｏｕｐ ）や、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ＥｘｐｅｒｔＧｒｏｕｐ）等の規格に基づいた圧縮処理を行い、その後、圧縮処理済みの画像データを転送する。
【０００４】
ところで、固体撮像素子を単板式と仮定すると、従来の撮像装置１０１ においては、画像データ圧縮装置１０２ での圧縮処理による画像データの劣化を軽減するために、撮像によって得られたカラー撮像信号を行列演算によって、カラー撮像信号の総数に対して、信号の総数が３倍になるＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）信号に変換し、その後、これらの色信号に対して別の行列演算を施すことによって、画像データ圧縮装置１０２ への入力信号である輝度信号Ｙ，色差信号Ｃｒ ，Ｃｂ を生成していた。
【０００５】
そして、転送された圧縮処理済みの画像データを受け取った画像データ伸長装置１０３ は、規格に基づいた伸長処理を行い、得られたＹ，Ｃｒ ，Ｃｂ 信号に対して、画像再生装置１０４ は、行列演算の逆演算によって、Ｒ，Ｇ，Ｂ信号に変換して画像として表示していた。
【０００６】
以下、このような撮像装置１０１ と、撮像装置１０１ から出力される画像データを圧縮処理する画像データ圧縮装置１０２ と、画像データ圧縮装置１０２ から出力される圧縮処理済みの画像データを伸長処理する画像データ伸長装置１０３ と、画像再生装置１０４ からなる画像処理システムについて、更に詳細に説明する。
【０００７】
図１３に示すように、前段部２０１ として、色フィルタ２０１−１，固体撮像素子２０１−２，同時化部２０１−３，輝度・色差信号変換部２０１−４を備えている。色フィルタ２０１−１は、例えば図２の（Ａ）に示すように、Ｒ，Ｇ，Ｂの各色フィルタがベイヤ方式で配列されており、被写体からの光が色フィルタ２０１−１を介して固体撮像素子２０１−２に入射するように、固体撮像素子２０１−２の前面に貼付されている。
【０００８】
固体撮像素子２０１−２は、色フィルタ２０１−１を介して被写体からの光を受光し、受光量に応じたカラー撮像信号を出力するものであり、色フィルタ２０１−１の各色フィルタに対応した複数の受光素子を備えている。固体撮像素子２０１−２からの出力は、カラー撮像信号として同時化部２０１−３に入力されるようになっている。同時化部２０１−３は、固体撮像素子２０１−２から出力されたカラー撮像信号に基づいて、Ｒ，Ｇ，Ｂ信号を生成する回路であり、Ｒ，Ｇ，Ｂ信号は、輝度・色差信号変換部２０１−４に入力されるようになっている。輝度・色差信号変換部２０１−４は、同時化部２０１−３から出力されたＲ，Ｇ，Ｂ信号に基づいて、Ｙ，Ｃｒ ，Ｃｂ を生成するものである。Ｙ，Ｃｒ ，Ｃｂ 信号の生成原理は、一般的に〔数１〕式で表される。
【０００９】
【数１】
【００１０】
これらＹ，Ｃｒ ，Ｃｂ 信号は画像データとして、画像圧縮手段２０２ に入力されるようになっている。図１３に示すように、画像圧縮手段２０２ は、周波数変換部２０２−１，量子化部２０２−２，符号化部２０２−３を備えている。周波数変換部２０２−１は、ブロック内のＹ，Ｃｒ ，Ｃｂ 信号に対して、空間周波数成分を算出するものである。例えば、ＪＰＥＧの規格では、１ ブロックは、Ｙ，Ｃｒ ，Ｃｂ のそれぞれにおいて水平８信号、垂直８信号、つまり、８×８信号を１ ブロックとして構成され、８×８信号に対して、直交変換の一種であるＤＣＴ（離散コサイン変換）を施して、空間周波数成分（ＤＣＴ係数）Ｆｍｎｉｊに変換される。
【００１１】
ＤＣＴ係数の変換式は、一般的に〔数２〕式で表される。（但し、〔数２〕において、ｍ，ｎはＤＣＴ係数の水平方向及び垂直方向の位置を示し、ｉ，ｊはブロック内のＹ，Ｃｒ ，Ｃｂ 信号の位置を示している。０≦ｍ，ｎ，ｉ，ｊ≦７）
【００１２】
【数２】
【００１３】
空間周波数成分Ｆｍｎｉｊは、量子化部２０２−２に入力されるようになっている。量子化部２０２−２は、周波数変換部２０２−１から出力された空間周波数成分に対して、量子化を施すものであり、量子化部２０２−２で出力された量子化空間周波数成分は、符号化部２０２−３へ入力されるようになっている。符号化部２０２−３は、量子化部２０２−２から出力された量子化空間周波数成分に対して、符号データを形成するものである。例えば、ＪＰＥＧの規格では、量子化部２０２−２から出力された量子化空間周波数成分に対して、ジグザグスキャンした後、ハフマン符号化、ランレングス符号化処理が施される。
【００１４】
符号データは、伸長手段２０３ に入力されるようになっている。図１３に示すように、伸長手段２０３ として、復号化部２０３−１，逆量子化部２０３−２，逆周波数変換部２０３−３を備えている。伸長手段２０３ は、画像圧縮手段２０２ で施した圧縮処理に対応した伸長処理を施すもので、Ｙ，Ｃｒ ，Ｃｂ 信号を出力する。例えば、ＪＰＥＧの規格では、ランレングス復号化、ハフマン復号化、逆量子化、逆ＤＣＴが施される。
【００１５】
伸長手段２０３ から出力されるＹ，Ｃｒ ，Ｃｂ 信号は、後段部２０４ に入力されるようになっている。図１３に示すように、後段部２０４ として、色信号変換部２０４−１を備えている。色信号変換部２０４−１は、伸長手段２０３ から出力されたＹ，Ｃｒ ，Ｃｂ 信号に基づいて、Ｒ，Ｇ，Ｂ信号を生成するものである。なお、Ｒ，Ｇ，Ｂ信号の生成原理については、〔数１〕式で示したＹ，Ｃｒ ，Ｃｂ 信号の生成原理の逆演算になる。
【００１６】
【発明が解決しようとしている課題】
このように、従来の画像処理システムでは、固体撮像素子から得られたカラー撮像信号から、Ｒ，Ｇ，Ｂ信号を生成する行列演算手段によってＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号から、Ｙ，Ｃｒ ，Ｃｂ 信号を生成する行列演算手段によって、Ｙ，Ｃｒ ，Ｃｂ 信号を生成しているため、多くの処理を必要とし、したがって、固体撮像素子から得られたカラー撮像信号を圧縮処理するまでの処理工程で、多くの電力を必要とした。また、Ｒ，Ｇ，Ｂ信号、及びＹ，Ｃｒ ，Ｃｂ 信号を保持する手段を必要とするため、小型化には向いていなかった。これに対する一方策が、特開平１１−１１２９７７号公報（特許文献１）に提案されているが、この提案技術の考え方のベースは、Ｙ，Ｃｒ ，Ｃｂ 変換と圧縮にあるため、根本的な解決とは言えない。
【００１７】
本発明は、従来の画像処理システムにおける上記課題を解決するためになされたもので、被写体の撮像から、撮像によって得られる画像データの圧縮処理までを省電力で行うことによって、固体撮像素子から得られたカラー撮像信号を圧縮処理するまでの手段において、省電力化と小型化を図ることのできる画像圧縮装置及び画像処理システムを提供することを目的とするものである。
【００１８】
【課題を解決するための手段】
前記課題を解決するため、請求項１に係る発明は、所定の色配列を有する色フィルタが受光面に貼付された、固体撮像素子から出力されたカラー撮像信号を処理する画像圧縮装置であって、前記固体撮像素子からのカラー撮像信号を、色フィルタ上の色空間は保ったまま、各色毎に、所定の配列形式に変換を行なって画像データ群を生成する前処理を行う前処理手段と、前記所定の配列形式で配列された画像データ群を１ユニットとして、１ユニット中の空間周波数成分を算出する周波数変換部と、空間周波数成分を量子化する量子化部と、量子化された空間周波数成分を符号化する符号化部とを備える画像圧縮手段とを有することを特徴とするものである。
【００１９】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群が生成され、前記画像圧縮手段は、前記画像データ群に対して圧縮処理を行う。これにより、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃｒ ，Ｃｂ 信号を生成する等の異なる色空間を生成する手段を必要としないので、省電力化を図った画像圧縮装置を実現することができる。
【００２０】
請求項２に係る発明は、請求項１に係る画像圧縮装置において、前記前処理手段は、カラー撮像信号から、前記色フィルタ上の画素の位置関係と空間的に等価となる位置のカラー撮像信号を生成し、この生成されたカラー撮像信号を基に、前記変換を行なうように構成されていることを特徴とするものである。
【００２１】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号の各色データに対して、色フィルタ上の画素の位置関係と空間的に等価となる位置のカラー撮像信号を生成する。これにより、前記画像圧縮手段の圧縮処理による画質劣化を抑えることができる。
【００２２】
請求項３に係る発明は、請求項２に係る画像圧縮装置において、前記前処理手段は、前記空間的に等価となる位置を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置として設定し、色的に隣接する２つの位置に対応するカラー撮像信号を補間し、当該設定位置のカラー撮像信号を求めるように構成されていることを特徴とするものである。
【００２３】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群を生成する処理において、乗算が不要で、加算と２ビットシフタのみ等の簡単な回路構成で実現できるので、前記前処理手段の省電力化を図ることができる。
【００２４】
請求項４に係る発明は、請求項１に係る画像圧縮装置において、前記前処理手段は、カラー撮像信号から、同一色に係るカラー撮像信号を抽出し、前記所定配列形式に並び替えるように構成されていることを特徴とするものである。
【００２５】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群を生成する処理において、演算が不要になり、前記前処理手段の省電力化を実現できる。
【００２６】
請求項５に係る発明は、所定の色配列を有する色フィルタが受光面に貼付された、固体撮像素子から出力されたカラー撮像信号を処理する画像圧縮装置であって、所定領域に含まれる、色フィルタ上の色空間を保ったまま、同一色の複数のカラー撮像信号を１ユニットとして、この１ユニットの空間周波数成分を、線形演算により算出する前処理手段と、空間周波数成分を量子化する量子化部と、量子化された空間周波数成分を符号化する符号化部とを有することを特徴とするものである。
【００２７】
請求項１に係る画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換を行って生成された画像データ群に対して、空間周波数成分を算出していたが、上記請求項５に係る画像圧縮装置においては、カラー撮像信号の空間周波数成分を、前記画像データ群を生成させることなく、線形演算によって直接生成される。これにより、画像データ群を保持する手段を必要としないので、画像圧縮装置の小型化を図ることできる。
【００２８】
請求項６に係る発明は、請求項５に係る画像圧縮装置において、前記前処理手段は、カラー撮像信号から、前記色フィルタ上の画素の位置関係と空間的に等価となる位置のカラー撮像信号を生成し、この生成されたカラー撮像信号を基に、前記空間周波数成分の算出処理を行なうように構成されていることを特徴とするものである。
【００２９】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号の各色データに基づいて、色フィルタ上の画素の位置関係と空間的に等価となる位置のカラー撮像信号を生成する。これにより、前記画像圧縮手段の圧縮処理による画質劣化を抑えることができる。
【００３０】
請求項７に係る発明は、請求項６に係る画像圧縮装置において、前記前処理手段は、前記空間的に等価となる位置を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置として設定し、色的に隣接する２つの位置に対応するカラー撮像信号を補間し、当該設定位置のカラー撮像信号を求めるように構成されていることを特徴とするものである。
【００３１】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定領域に含まれる色フィルタ上の色空間を保ったまま、同一色の複数のカラー撮像信号を生成する処理において、乗算が不要で、加算と２ビットシフタのみ等の簡単な回路構成で実現できるので、前記前処理手段の省電力化を図ることができる。
【００３２】
請求項８に係る発明は、請求項５に係る画像圧縮装置において、前記前処理手段は、カラー撮像信号中の同一色に係るカラー撮像信号を所定の配列形式に並び替えた後に、前記空間周波数成分の算出処理を行うことを特徴とするものである。
【００３３】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定領域に含まれる色フィルタ上の色空間を保ったまま、同一色の複数のカラー撮像信号を生成する処理において、演算が不要なので、前記前処理手段の省電力化を実現できる。
【００３４】
請求項９に係る発明は、請求項１に記載の画像圧縮装置と、該画像圧縮装置から出力される符号データから、空間周波数成分を復号化する復号化部と、復号化された空間周波数成分を逆量子化する逆量子化部と、逆量子化された空間周波数成分に基づいて各色毎の撮像データを算出する逆周波数変換部とを備える伸長手段と、該伸長手段から出力される各色毎の撮像データを同時化処理し、画像データを生成する画像データ生成手段とで画像処理システムを構成するものである。
【００３５】
このように構成された画像処理システムにおいては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群が生成され、前記画像圧縮手段は、前記画像データ群に対して圧縮処理を行う。これにより、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃｒ ，Ｃｂ 信号を生成する等の異なる色空間を生成する手段を必要としないので、省電力化を図った画像処理システムを実現することができる。
【００３６】
請求項１０に係る発明は、請求項５に記載の画像圧縮装置と、該画像圧縮装置から出力される符号データから、空間周波数成分を復号化する復号化部と、復号化された空間周波数成分を逆量子化する逆量子化部と、逆量子化された空間周波数成分に基づいて各色毎の撮像データを算出する逆周波数変換部とを備える伸長手段と、該伸長手段から出力される各色毎の撮像データを同時化処理し、画像データを生成する画像データ生成手段とで画像処理システムを構成するものである。
【００３７】
請求項９に係る画像処理システムにおいては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換を行って生成された画像データ群に対して、空間周波数成分を算出していたが、上記請求項１０に係る画像処理システムにおいては、カラー撮像信号の空間周波数成分を、前記画像データ群を生成させることなく、線形演算によって直接生成される。これにより、画像データ群を保持する手段を必要としないので、画像処理システムの小型化を図ることできる。
【００３８】
【発明の実施の形態】
（第１の実施の形態）
次に、実施の形態について説明する。図１は、本発明の第１の実施の形態に係る画像処理システムの概略構成を示すブロック図である。この画像処理システムは、色フィルタ１−１，固体撮像素子１−２，前処理手段１−３からなる前段部１と、周波数変換部２−１，量子化部２−２，符号化部２−３からなる画像圧縮手段２と、復号化部３−１，逆量子化部３−２，逆周波数変換部３−３からなる伸長手段３と、画像データ生成手段４−１からなる後段部４を有している。
【００３９】
前段部１は、色フィルタ１−１の色空間を変えることなく、所定配列形式に変換された画像データ群を生成するものであり、前述のように色フィルタ１−１と固体撮像素子１−２と前処理手段１−３とで構成されている。色フィルタ１−１は、例えば図２の（Ａ）に示すように、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各色フィルタ素子がベイヤ方式で配列されており、被写体からの光が各色フィルタ素子を介して固体撮像素子１−２に入射するように、固体撮像素子１−２の前面に設置されている。なお、色フィルタ１−１は、図２の（Ｂ）に示すような補色フィルタであってもよい。
【００４０】
固体撮像素子１−２は、色フィルタ１−１を介して被写体からの光を受光し、その受光量に応じたカラー撮像信号を出力するものであり、色フィルタ１−１に対応した複数の受光素子を備えている。前処理手段１−３は、色フィルタ１−１を構成する各色フィルタの配置に基づいて、固体撮像素子１−２から出力される全カラー撮像信号Ｒ，Ｇ，Ｂから、その色空間（Ｒ，Ｇ，Ｂ）を変えることなく、所定配列形式に変換された画像データ群Ｒ’，Ｇ’，Ｂ’を生成するものである。画像データ群Ｒ’，Ｇ’，Ｂ’の生成方法については後述する。
【００４１】
以下、画像圧縮手段２，伸長手段３として画像処理ＣＯＤＥＣのＪＰＥＧを利用する場合について説明すると、通常、ＪＰＥＧに入力されるデータは、輝度信号及び色差信号の画像データであるが、輝度信号Ｙ，色差信号Ｃｒ ，Ｃｂ は、各々の信号毎に水平８信号×垂直８信号を単位としてブロック化される。図３〜図５に示すように、前処理手段１−３から出力されたデータを、同じ色データ毎に水平８信号×垂直８信号としてブロック化したものを、入力データとして扱う。
【００４２】
画像圧縮手段２は、周波数変換部２−１において、ＤＣＴ（離散コサイン変換）を施し、入力データを８×８ブロック単位で空間周波数成分に変換し、量子化部２−２において上記周波数変換部２−１で出力された空間周波数成分に対して、量子化処理を行う。更に、量子化部２−２にて出力された量子化空間周波数成分に対して、ジグザグスキャンされたデータを、符号化部２−３でハフマン符号化及びランレングス符号化する。以上のようにして、圧縮された符号データをメモリ等に記録して保存したり、伝送したりする。
【００４３】
伝送された符号データは、伸長手段３に入力される。伸長手段３は、画像圧縮手段２でエンコードされた符号データに対して、デコードするものである。復号化部３−１でランレングス復号化及びハフマン復号化、逆量子化部３−２で逆量子化、逆周波数変換部３−３では逆ＤＣＴを行う。後段部４の画像データ生成手段４−１は、伸長手段３から得られたデータに対して、各色データ毎に補間処理を施し、Ｒ，Ｇ，Ｂ信号を生成する同時化処理を行って画像データを生成するものである。
【００４４】
次に、本実施の形態の画像データ群を生成する前処理手段１−３の動作について説明する。図３〜図５に示す、画像データ群Ｒ’，Ｇ’，Ｂ’の各群を構成する各成分（各成分を識別するための符号は省略している）は、上か下、又は、右か左に隣接する同じ色データ２つの画素から演算によって得る。
【００４５】
以下、各成分の演算方法について説明する。まず、ここで、以降で用いる符号について説明する。図６は、固体撮像素子１−２の受光面を模式的に示したものであり、同図中のＲ，Ｇ，Ｂは、それぞれ原色フィルタのＲ，Ｇ，Ｂの色フィルタ１−１を透過した光を受光する画素を示している。ここで、図６における左上隅の画素Ｒの座標を（１，１）としたとき、この画素Ｒから水平方向にＸ，垂直方向にＹの位置にある画素Ａの座標を（Ｘ，Ｙ）とし、画素Ａからの出力をＡＸＹで表すことにする。
【００４６】
更に、各画像データ群の各成分を２次元的に図６の原色フィルタ上に示すために、図６において、Ｙ＝１，Ｙ＝２の中間点にｊ＝１を設ける。ｊ＝１は、図６の画素（Ｘ，１）と画素（Ｘ，２）とを隔てる水平線上にくることになる。そして、ｊ＝１の水平線から下の同様に設けた水平線にｊ＝２，ｊ＝３，・・・・・、一番上の水平線をｊ＝０と割り当てると、水平方向にＸ，垂直方向にｊの座標を（Ｘ，ｊ）とし、この座標の位置に生成される画像データ群をＡ’Ｘｊで表すことにする。垂直線にも同様にして、ｉ＝０，ｉ＝１，・・・・・を設ける。
【００４７】
さて、固体撮像素子１−２から出力される全カラー撮像信号に対して、以下のような原理に基づいて各画像データ群の各成分を生成した上で、画像データ群Ｒ’，Ｇ’，Ｂ’を構成し、画像圧縮手段２へ出力する。
【００４８】
図６に示した原色フィルタを用いた場合、画像データ群の各成分の位置関係を空間的に等価となる位置にするために、図８の原色フィルタ上に「●」点で示すように、各画像データ群の各成分を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置にくるように設定する。各画像データ群の各成分は、原色フィルタ上の画素Ｒ，Ｇ，Ｂを用いて〔数３〕式（ｊが奇数のときのみ各信号を出力）で表される。
【００４９】
【数３】
【００５０】
ここで、ｊ＝１の場合であって、ｘが奇数のときのＧ’，ｘが偶数のときのＢ′の演算においては、右辺第２項として、現実には存在しないＹ＝０の位置に対応する画素値Ｇｘ０，Ｂｘ０を用いることになる。このときには、右辺第１項と同じ画素値、或は、同色且つ周辺の複数の画素値から補間により求めた画素値等を用いて〔数３〕の演算を行なう。
【００５１】
因みに、図８におけるｊ＝１上の「●」点は、左端（ｘ＝１）がＲ’１１ ，Ｇ’１ １ に、その右隣（ｘ＝２）がＢ’２１ ，Ｇ’２１ に、更にその右隣（ｘ＝３）がＲ’３１ ，Ｇ’３１ に、更にその右隣（ｘ＝４）がＢ’４１ ，Ｇ’４１ に、それぞれ対応するものとなる。ｊ＝２に関しては、左端（ｘ＝１）がＲ’１３ ，Ｇ’１３ に、その右隣（ｘ＝２）がＢ’２３ ，Ｇ’２３ に、更にその右隣（ｘ＝３）がＲ’３３ ，Ｇ’３３ に、更にその右隣（ｘ＝４）がＢ’４３ ，Ｇ’４３ に、それぞれ対応するものとなる。
【００５２】
〔数３〕式より、各画像データ群（Ｒ’，Ｇ’，Ｂ’）の成分数の割合は、１：２：１となり、入力されるデータ（Ｒ，Ｇ，Ｂ）の色データの割合と変わらない。したがって、画像データ群Ｒ’，Ｇ’，Ｂ’の成分数の総数は、入力データの総数と同じくなる。以上のようにして演算されたＲ’ｘｊ ，Ｇ’ｘｊ ，Ｂ’ｘｊ を、前処理手段１−３は、更に各色毎に再構成し、図３〜図５に示す画像データ群Ｒ’，Ｇ’，Ｂ’として出力する。
【００５３】
以上の作業により、各画像データ群の各成分が空間的に等価な位置のものとすることができるので、色毎の相関が取れ、画像圧縮手段２の圧縮による画質の劣化を抑えることができる。
【００５４】
〔数３〕式は、〔数４〕式のように変形できる。
【００５５】
【数４】
【００５６】
したがって、図９に示すように、前処理手段１−３は、１ｂｉｔ シフタ５と２つの加算器６と２ｂｉｔ シフタ７のみの回路構成で実現することができる。なお、この回路では、１ｂｉｔ シフタ５と加算器６でＩＮＤＡＴＡ１を３倍し、その値とＩＮＤＡＴＡ２を加算器６で加算した値を２ｂｉｔ シフタ７で÷４ の処理を行っている。〔数３〕式は、原色フィルタ上において、ｊが奇数の個所に着目して各画像データ群の各成分を生成したが、原色フィルタ上において、ｊが偶数の個所に着目して各成分を生成するときは、各成分は、図６に示す原色フィルタ上の画素Ｒ，Ｇ，Ｂを用いて、〔数５〕式（ｊが偶数のときのみ各信号を出力）で表される。
【００５７】
【数５】
【００５８】
なお、〔数３〕式と〔数５〕式は、上か下に隣接する同じ色データの２つの画素に着目して各成分を生成しているが、右か左に隣接する同じ色データの２つの画素に着目して各成分を生成させると、〔数３〕式及び〔数５〕式と同様の概念で、各成分は、図６に示す原色フィルタ上の画素Ｒ，Ｇ，Ｂを用いて〔数６〕式（ｉが奇数のときのみ各信号を出力）、及び〔数７〕式（ｉ が偶数のときのみ各信号を出力）で表される。
【００５９】
【数６】
【００６０】
【数７】
【００６１】
〔数３〕式と同様に、〔数５〕式、〔数６〕式、〔数７〕式より、各画像データ群（Ｒ’，Ｇ’，Ｂ’）の成分数の割合は、１：２：１で入力されるデータ（Ｒ，Ｇ，Ｂ）の色データの割合と変わらず、画像データ群Ｒ’，Ｇ’，Ｂ’の成分数の総数は、入力データの総数と同じである。〔数５〕式、〔数６〕式、〔数７〕式による各成分の生成も、〔数３〕式と同様の変形により、図９に示す回路構成で実現することができる。
【００６２】
この第１の実施の形態に係る構成によれば、固体撮像素子から得られたカラー撮像信号に基づいて、Ｒ，Ｇ，Ｂの色空間を、例えば、輝度−色差信号（Ｙ，Ｃｒ ，Ｃｂ ）等の別の色空間に変更することなく、所定配列形式に変換された画像データ群Ｒ’，Ｇ’，Ｂ’を生成し、これら画像データ群Ｒ’，Ｇ’，Ｂ’に対して圧縮処理を行う。したがって、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃｒ ，Ｃｂ 信号を生成する手段を必要としないので、固体撮像素子から得られたカラー撮像素子を圧縮処理するまでの工程において、省電力化を実現できる。
【００６３】
なお、前処理手段の構成として、画像データ群Ｒ’，Ｇ’，Ｂ’の生成において、空間的に等価となる位置を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置にくるように設定するのではなく、図８における水平線ｊ上にある黒点を水平画素Ｙ上（但し、Ｙが偶数又は奇数個所のみ）に設定し、その個所に対応する画像データ群Ｒ’，Ｇ’，Ｂ’を生成させても構わない。この構成によれば、画像データ群Ｒ’，Ｇ’，Ｂ’の生成において、空間的に等価となる位置を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置にくるように設定したときと比べ、演算回数が半分になり、その演算は、図１０に示すように、１つの加算器８と１ｂｉｔ シフタ９のみで実現することができる。この演算回路では、ＩＮＤＡＴＡ１とＩＮＤＡＴＡ２を加算器８で加算し，１ｂｉｔ シフタ９により加算値を２で除算している。また、前処理手段の構成として、単にカラー撮像信号Ｒ，Ｇ，Ｂの同色同士を並び替え、画像データ群Ｒ’，Ｇ’，Ｂ’を生成させても構わない。この構成によれば、並び換えの処理のみ施せばよく、演算が不要になる。
【００６４】
なお、図７に示すような補色フィルタを用いたときも、原色フィルタと同様の定義付けをすると、画像データ群Ｗ’，Ｙｅ’，Ｇ’，Ｃｙ’は、補色フィルタ上の画素Ｗ，Ｙｅ ，Ｇ，Ｃｙ を用いて、原色フィルタ同様の原理で生成することができる。
【００６５】
（第２の実施の形態）
次に、第２の実施の形態について説明する。図１１は、本発明の第２の実施の形態に係る画像処理システムの概略構成を示すブロック図である。この画像処理システムは、色フィルタ１１−１，固体撮像素子１１−２，前処理手段１１−３からなる前段部１１と、量子化部１２−１，符号化部１２−２からなる画像圧縮手段１２と、復号化部１３−１，逆量子化部１３−２，逆周波数変換部１３−３からなる伸長手段１３と、画像データ生成手段１４−１からなる後段部１４とを有している。
【００６６】
本実施の形態における前処理手段１１−３以外の動作は、第１の実施の形態と同様である。この実施の形態における前処理手段１１−３は、色フィルタ１１−１を構成する各色フィルタの配置に基づいて、固体撮像素子１１−２から出力される全カラー撮像信号に対して線形演算を施すことにより、第１の実施の形態に基づき生成される画像データ群Ｒ’，Ｇ’，Ｂ’に対する空間周波数成分を生成するものである。
【００６７】
次に、本実施の形態における前処理手段１１−３の動作について説明する。なお、図６及び図７において、Ｘ，Ｙ，ｉ，ｊの定義については、第１の実施の形態と同様である。第２の実施の形態においては、固体撮像素子１１−２から出力される全カラー撮像信号に対して、以下のような原理に基づいて線形演算を施すことにより、画像データ群Ｒ’，Ｇ’，Ｂ’に対する空間周波数成分を生成し、画像圧縮手段１２へ出力する。まず第１の実施の形態で述べたように、色フィルタとして図６に示す原色フィルタを用いた場合、画像データ群Ｒ’，Ｇ’，Ｂ’は原色フィルタ上の画素Ｒ，Ｇ，Ｂを用いて、〔数８〕式（ｊが奇数のときのみ各信号を出力）で表される。
【００６８】
【数８】
【００６９】
上記〔数８〕式より、画像データ群Ｒ’，Ｇ’，Ｂ’は、それぞれ画素Ｒ，Ｇ，Ｂからの出力に対して線形な関係となる。したがって、画像データ群Ｒ’，Ｇ’，Ｂ’の各成分Ｒ’ｘｊ ，Ｇ’ｘｊ ，Ｂ’ｘｊ は、例えば行列ＥＲ’ ｉｊＸＹ，ＥＧ’ ｉｊＸＹ，ＥＢ’ ｉｊＸＹ、ｒＸＹ、ｇＸＹ、ｂＸＹを用いて、〔数９〕式で表される。
【００７０】
【数９】
【００７１】
一方、画像データ群Ｒ’，Ｇ’，Ｂ’の空間周波数成分は、従来の技術として知られているように、〔数１０〕式で示される行列Ｆｍｎｉｊを用いて表される。
【００７２】
【数１０】
【００７３】
したがって、画像データ群Ｒ′，Ｇ′，Ｂ′の各成分Ｒ’ｘｊ ，Ｇ’ｘｊ ，Ｂ’ｘｊの空間周波数成分Ｒ’ｍｎ ，Ｇ’ｍｎ ，Ｂ’ｍｎ は、行列Ｆｍｎｉｊ，画像データ群Ｒ’ｘｊ，Ｇ’ｘｊ ，Ｂ’ｘｊ を用いて、〔数１１〕式で表される。
【００７４】
【数１１】
【００７５】
〔数９〕式と〔数１１〕式より、画像データ群Ｒ’，Ｇ’，Ｂ’の各成分Ｒ’ｘｊ，Ｇ’ｘｊ ，Ｂ’ｘｊ の空間周波数成分Ｒ’ｍｎ ，Ｇ’ｍｎ ，Ｂ’ｍｎ は、ｒＸＹ、ｇＸＹ、ｂＸＹを用いて、〔数１２〕式で表される。
【００７６】
【数１２】
【００７７】
ここで、〔数９〕式における行列ＥＲ’ ｉｊＸＹ，ＥＧ’ ｉｊＸＹ，ＥＢ’ ｉｊＸＹ，及び〔数１１〕式における行列Ｆｍｎｉｊは、共に線形演算であるので、〔数１２〕式は単一の行列ＷＲ’ ｍｎＸＹ，ＷＧ’ ｍｎＸＹ，ＷＢ’ ｍｎＸＹを用いて、〔数１３〕式で表される。
【００７８】
【数１３】
【００７９】
したがって、前処理手段１１−３が、〔数１３〕式の行列ＷＲ’ ｍｎＸＹ，ＷＧ’ ｍｎＸＹ，ＷＢ’ ｍｎＸＹによる線形演算を施すことにより、画像データ群Ｒ’，Ｇ’，Ｂ’の各成分Ｒ’ｘｊ ，Ｇ’ｘｊ ，Ｂ’ｘｊ の空間周波数成分Ｒ’ｍｎ ，Ｇ’ｍｎ ，Ｂ’ｍｎ が求まることになる。
【００８０】
第１の実施の形態と同様に、単にカラー撮像信号Ｒ，Ｇ，Ｂの同色同士を並べ替えた画像データ群Ｒ’，Ｇ’，Ｂ’に対する空間周波数成分を生成する手法や、図８における水平線ｊ上にある黒点を水平画素Ｙ上（但し、Ｙが偶数又は奇数個所のみ）に設定し、その個所に対応する画像データ群Ｒ’，Ｇ’，Ｂ’に対する空間周波数成分を生成する手法でも、第１の実施の形態と同様の効果が得られる。
【００８１】
なお、色フィルタとして図７に示す補色フィルタを用いた場合も、線形演算を施すことにより、画像データ群Ｗ’，Ｙｅ’，Ｇ’，Ｃｙ’の各成分Ｗ’ｘｊ ，Ｙｅ’ｘｊ，Ｇ’ｘｊ ，Ｃｙ’ｘｊの空間周波数成分Ｗ’ｍｎ ，Ｙｅ’ｍｎ，Ｇ’ｍｎ ，Ｃｙ’ｍｎを求めることができる。
【００８２】
本実施の形態によれば、固体撮像素子から得られたカラー撮像信号に基づいて、第１の実施の形態における画像データ群Ｒ’，Ｇ’，Ｂ’の空間周波数成分が、画像データ群Ｒ’，Ｇ’，Ｂ’を生成させることなく、線形演算によって直接生成される。したがって、第１の実施の形態の効果に加えて、画像データ群Ｒ’，Ｇ’，Ｂ’を保持する手段を必要としないので、固体撮像素子から得られたカラー撮像信号を圧縮処理するまでの構成において小型化を実現できる。
【００８３】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群が生成され、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃｒ ，Ｃｂ 信号を生成する等の異なる色空間を生成する手段を必要としないので、画像圧縮装置の省電力化を図ることができる。また、請求項２に係る発明によれば、圧縮処理による画質劣化を抑えることの可能な請求項１に係る画像圧縮装置を実現できる。また、請求項３に係る発明によれば、画像データ群の生成を簡易な回路構成で実現できる請求項２に係る画像圧縮装置を提供できる。また、請求項４に係る発明によれば、画像データ群の生成が簡易な回路構成で実現できる請求項１に係る画像圧縮装置を提供することができる。また、請求項５に係る発明によれば、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群の空間周波数成分が直接生成され、画像データ群を保持する手段を必要としないので、画像圧縮装置の小型化を実現できる。
【００８４】
また、請求項６に係る発明によれば、圧縮処理による画質劣化を抑えることの可能な請求項５に係る画像圧縮装置を実現できる。また、請求項７に係る発明によれば、簡易な回路構成で省電力化を図れる請求項６に係る画像圧縮装置を実現できる。また、請求項８に係る発明によれば、簡易な回路構成で省電力化を図れる請求項５に係る画像圧縮装置を実現することができる。また、請求項９に係る発明によれば、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群が生成され、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃｒ，Ｃｂ 信号を生成する等の異なる色空間を生成する手段を必要としないので、画像処理システムの省電力化を実現できる。また、請求項１０に係る発明によれば、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群の空間周波数成分が直接生成され、画像データ群を保持する手段を必要としないので、画像処理システムの小型化を実現できる。
【図面の簡単な説明】
【図１】本発明に係る、色空間を保ったまま、各色毎に、所定配列形式に変換を行って画像データ群を生成する前処理手段を含む画像処理システムの第１の実施の形態の概略構成を示すブロック図である。
【図２】色フィルタの構成例を示す平面図である。
【図３】第１の実施の形態における周波数変換部に入力される画像データ群Ｒ’（ブロック化）を示す説明図である。
【図４】第１の実施の形態における周波数変換部に入力される画像データ群Ｇ’（ブロック化）を示す説明図である。
【図５】第１の実施の形態における周波数変換部に入力される画像データ群Ｂ’（ブロック化）を示す説明図である。
【図６】原色フィルタの色配列に対応した固体撮像素子の画素と、各画素から出力されるカラー撮像信号に基づいて得られる画像データ群が出力される位置関係を示す説明図である。
【図７】補色フィルタの色配列に対応した固体撮像素子の画素と、各画素から出力されるカラー撮像信号に基づいて得られる画像データ群が出力される位置関係を示す説明図である。
【図８】第１の実施の形態において生成される画像データ群の色フィルタの画素上における位置関係を示す説明図である。
【図９】第１の実施の形態における前処理手段の演算の一例を実現する回路構成を示すブロック図である。
【図１０】第１の実施の形態における前処理手段の演算の他の例を実現する回路構成を示すブロック図である。
【図１１】本発明の第２の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
【図１２】一般的な画像処理システムを示す概略ブロック図である。
【図１３】従来の画像圧縮、伝送、伸長及び再生手段からなる画像処理システムの構成を示すブロック図である。
【符号の説明】
１ 前段部
１−１ 色フィルタ
１−２ 固体撮像素子
１−３ 前処理手段
２ 画像圧縮手段
２−１ 周波数変換部
２−２ 量子化部
２−３ 符号化部
３ 伸長手段
３−１ 復号化部
３−２ 逆量子化部
３−３ 逆周波数変換部
４ 後段部
４−１ 画像データ生成手段
５ １ｂｉｔ シフタ
６ 加算器
７ ２ｂｉｔ シフタ
８ 加算器
９ １ｂｉｔ シフタ
１１ 前段部
１１−１ 色フィルタ
１１−２ 固体撮像素子
１１−３ 前処理手段
１２ 画像圧縮手段
１２−１ 量子化部
１２−２ 符号化部
１３ 伸長手段
１３−１ 復号化部
１３−２ 逆量子化部
１３−３ 逆周波数変換部
１４ 後段部
１４−１ 画像データ生成手段
１０１ 撮像装置
１０２ 画像データ圧縮装置
１０３ 画像データ伸長装置
１０４ 画像再生装置
２０１ 前段部
２０１−１ 色フィルタ
２０１−２ 固体撮像素子
２０１−３ 同時化部
２０１−４ 輝度・色差信号変換部
２０２ 画像圧縮手段
２０２−１ 周波数変換部
２０２−２ 量子化部
２０２−３ 符号化部
２０３ 伸長手段
２０３−１ 復号化部
２０３−２ 逆量子化部
２０３−３ 逆周波数変換部
２０４ 後段部
２０４−１ 色信号変換部
【発明の属する技術分野】
この発明は、カラー撮像信号を圧縮する画像圧縮装置、及びカラー撮像信号に対する圧縮、伸長及び再生処理とを行う画像処理システムに関し、特に、カプセル内視鏡や携帯電話等の比較的画質よりも省電力や小型化が要求される製品に用いて好適な画像圧縮装置、及び画像処理システムに関する。
【０００２】
【特許文献１】特開平１１−１１２９７７号公報
【０００３】
【従来の技術】
図１２は、一般的な画像処理システムの一例を示すブロック図である。図１２において、１０１ は撮像装置で、該撮像装置１０１ は、被写体からの光を受光し、受光量に応じたカラー撮像信号を出力する固体撮像素子を備えており、固体撮像素子からのカラー撮像信号が画像データとして転送される。画像データの効率的な転送を図るために、画像データは、通常、画像データ圧縮装置１０２ の処理を介して転送される。画像データ圧縮装置１０２ は、入力された画像データに対してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｈｉｃ ＥｘｐｅｒｔＧｒｏｕｐ ）や、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ＥｘｐｅｒｔＧｒｏｕｐ）等の規格に基づいた圧縮処理を行い、その後、圧縮処理済みの画像データを転送する。
【０００４】
ところで、固体撮像素子を単板式と仮定すると、従来の撮像装置１０１ においては、画像データ圧縮装置１０２ での圧縮処理による画像データの劣化を軽減するために、撮像によって得られたカラー撮像信号を行列演算によって、カラー撮像信号の総数に対して、信号の総数が３倍になるＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）信号に変換し、その後、これらの色信号に対して別の行列演算を施すことによって、画像データ圧縮装置１０２ への入力信号である輝度信号Ｙ，色差信号Ｃｒ ，Ｃｂ を生成していた。
【０００５】
そして、転送された圧縮処理済みの画像データを受け取った画像データ伸長装置１０３ は、規格に基づいた伸長処理を行い、得られたＹ，Ｃｒ ，Ｃｂ 信号に対して、画像再生装置１０４ は、行列演算の逆演算によって、Ｒ，Ｇ，Ｂ信号に変換して画像として表示していた。
【０００６】
以下、このような撮像装置１０１ と、撮像装置１０１ から出力される画像データを圧縮処理する画像データ圧縮装置１０２ と、画像データ圧縮装置１０２ から出力される圧縮処理済みの画像データを伸長処理する画像データ伸長装置１０３ と、画像再生装置１０４ からなる画像処理システムについて、更に詳細に説明する。
【０００７】
図１３に示すように、前段部２０１ として、色フィルタ２０１−１，固体撮像素子２０１−２，同時化部２０１−３，輝度・色差信号変換部２０１−４を備えている。色フィルタ２０１−１は、例えば図２の（Ａ）に示すように、Ｒ，Ｇ，Ｂの各色フィルタがベイヤ方式で配列されており、被写体からの光が色フィルタ２０１−１を介して固体撮像素子２０１−２に入射するように、固体撮像素子２０１−２の前面に貼付されている。
【０００８】
固体撮像素子２０１−２は、色フィルタ２０１−１を介して被写体からの光を受光し、受光量に応じたカラー撮像信号を出力するものであり、色フィルタ２０１−１の各色フィルタに対応した複数の受光素子を備えている。固体撮像素子２０１−２からの出力は、カラー撮像信号として同時化部２０１−３に入力されるようになっている。同時化部２０１−３は、固体撮像素子２０１−２から出力されたカラー撮像信号に基づいて、Ｒ，Ｇ，Ｂ信号を生成する回路であり、Ｒ，Ｇ，Ｂ信号は、輝度・色差信号変換部２０１−４に入力されるようになっている。輝度・色差信号変換部２０１−４は、同時化部２０１−３から出力されたＲ，Ｇ，Ｂ信号に基づいて、Ｙ，Ｃｒ ，Ｃｂ を生成するものである。Ｙ，Ｃｒ ，Ｃｂ 信号の生成原理は、一般的に〔数１〕式で表される。
【０００９】
【数１】
これらＹ，Ｃｒ ，Ｃｂ 信号は画像データとして、画像圧縮手段２０２ に入力されるようになっている。図１３に示すように、画像圧縮手段２０２ は、周波数変換部２０２−１，量子化部２０２−２，符号化部２０２−３を備えている。周波数変換部２０２−１は、ブロック内のＹ，Ｃｒ ，Ｃｂ 信号に対して、空間周波数成分を算出するものである。例えば、ＪＰＥＧの規格では、１ ブロックは、Ｙ，Ｃｒ ，Ｃｂ のそれぞれにおいて水平８信号、垂直８信号、つまり、８×８信号を１ ブロックとして構成され、８×８信号に対して、直交変換の一種であるＤＣＴ（離散コサイン変換）を施して、空間周波数成分（ＤＣＴ係数）Ｆｍｎｉｊに変換される。
【００１１】
ＤＣＴ係数の変換式は、一般的に〔数２〕式で表される。（但し、〔数２〕において、ｍ，ｎはＤＣＴ係数の水平方向及び垂直方向の位置を示し、ｉ，ｊはブロック内のＹ，Ｃｒ ，Ｃｂ 信号の位置を示している。０≦ｍ，ｎ，ｉ，ｊ≦７）
【００１２】
【数２】
空間周波数成分Ｆｍｎｉｊは、量子化部２０２−２に入力されるようになっている。量子化部２０２−２は、周波数変換部２０２−１から出力された空間周波数成分に対して、量子化を施すものであり、量子化部２０２−２で出力された量子化空間周波数成分は、符号化部２０２−３へ入力されるようになっている。符号化部２０２−３は、量子化部２０２−２から出力された量子化空間周波数成分に対して、符号データを形成するものである。例えば、ＪＰＥＧの規格では、量子化部２０２−２から出力された量子化空間周波数成分に対して、ジグザグスキャンした後、ハフマン符号化、ランレングス符号化処理が施される。
【００１４】
符号データは、伸長手段２０３ に入力されるようになっている。図１３に示すように、伸長手段２０３ として、復号化部２０３−１，逆量子化部２０３−２，逆周波数変換部２０３−３を備えている。伸長手段２０３ は、画像圧縮手段２０２ で施した圧縮処理に対応した伸長処理を施すもので、Ｙ，Ｃｒ ，Ｃｂ 信号を出力する。例えば、ＪＰＥＧの規格では、ランレングス復号化、ハフマン復号化、逆量子化、逆ＤＣＴが施される。
【００１５】
伸長手段２０３ から出力されるＹ，Ｃｒ ，Ｃｂ 信号は、後段部２０４ に入力されるようになっている。図１３に示すように、後段部２０４ として、色信号変換部２０４−１を備えている。色信号変換部２０４−１は、伸長手段２０３ から出力されたＹ，Ｃｒ ，Ｃｂ 信号に基づいて、Ｒ，Ｇ，Ｂ信号を生成するものである。なお、Ｒ，Ｇ，Ｂ信号の生成原理については、〔数１〕式で示したＹ，Ｃｒ ，Ｃｂ 信号の生成原理の逆演算になる。
【００１６】
【発明が解決しようとしている課題】
このように、従来の画像処理システムでは、固体撮像素子から得られたカラー撮像信号から、Ｒ，Ｇ，Ｂ信号を生成する行列演算手段によってＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号から、Ｙ，Ｃｒ ，Ｃｂ 信号を生成する行列演算手段によって、Ｙ，Ｃｒ ，Ｃｂ 信号を生成しているため、多くの処理を必要とし、したがって、固体撮像素子から得られたカラー撮像信号を圧縮処理するまでの処理工程で、多くの電力を必要とした。また、Ｒ，Ｇ，Ｂ信号、及びＹ，Ｃｒ ，Ｃｂ 信号を保持する手段を必要とするため、小型化には向いていなかった。これに対する一方策が、特開平１１−１１２９７７号公報（特許文献１）に提案されているが、この提案技術の考え方のベースは、Ｙ，Ｃｒ ，Ｃｂ 変換と圧縮にあるため、根本的な解決とは言えない。
【００１７】
本発明は、従来の画像処理システムにおける上記課題を解決するためになされたもので、被写体の撮像から、撮像によって得られる画像データの圧縮処理までを省電力で行うことによって、固体撮像素子から得られたカラー撮像信号を圧縮処理するまでの手段において、省電力化と小型化を図ることのできる画像圧縮装置及び画像処理システムを提供することを目的とするものである。
【００１８】
【課題を解決するための手段】
前記課題を解決するため、請求項１に係る発明は、所定の色配列を有する色フィルタが受光面に貼付された、固体撮像素子から出力されたカラー撮像信号を処理する画像圧縮装置であって、前記固体撮像素子からのカラー撮像信号を、色フィルタ上の色空間は保ったまま、各色毎に、所定の配列形式に変換を行なって画像データ群を生成する前処理を行う前処理手段と、前記所定の配列形式で配列された画像データ群を１ユニットとして、１ユニット中の空間周波数成分を算出する周波数変換部と、空間周波数成分を量子化する量子化部と、量子化された空間周波数成分を符号化する符号化部とを備える画像圧縮手段とを有することを特徴とするものである。
【００１９】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群が生成され、前記画像圧縮手段は、前記画像データ群に対して圧縮処理を行う。これにより、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃｒ ，Ｃｂ 信号を生成する等の異なる色空間を生成する手段を必要としないので、省電力化を図った画像圧縮装置を実現することができる。
【００２０】
請求項２に係る発明は、請求項１に係る画像圧縮装置において、前記前処理手段は、カラー撮像信号から、前記色フィルタ上の画素の位置関係と空間的に等価となる位置のカラー撮像信号を生成し、この生成されたカラー撮像信号を基に、前記変換を行なうように構成されていることを特徴とするものである。
【００２１】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号の各色データに対して、色フィルタ上の画素の位置関係と空間的に等価となる位置のカラー撮像信号を生成する。これにより、前記画像圧縮手段の圧縮処理による画質劣化を抑えることができる。
【００２２】
請求項３に係る発明は、請求項２に係る画像圧縮装置において、前記前処理手段は、前記空間的に等価となる位置を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置として設定し、色的に隣接する２つの位置に対応するカラー撮像信号を補間し、当該設定位置のカラー撮像信号を求めるように構成されていることを特徴とするものである。
【００２３】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群を生成する処理において、乗算が不要で、加算と２ビットシフタのみ等の簡単な回路構成で実現できるので、前記前処理手段の省電力化を図ることができる。
【００２４】
請求項４に係る発明は、請求項１に係る画像圧縮装置において、前記前処理手段は、カラー撮像信号から、同一色に係るカラー撮像信号を抽出し、前記所定配列形式に並び替えるように構成されていることを特徴とするものである。
【００２５】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群を生成する処理において、演算が不要になり、前記前処理手段の省電力化を実現できる。
【００２６】
請求項５に係る発明は、所定の色配列を有する色フィルタが受光面に貼付された、固体撮像素子から出力されたカラー撮像信号を処理する画像圧縮装置であって、所定領域に含まれる、色フィルタ上の色空間を保ったまま、同一色の複数のカラー撮像信号を１ユニットとして、この１ユニットの空間周波数成分を、線形演算により算出する前処理手段と、空間周波数成分を量子化する量子化部と、量子化された空間周波数成分を符号化する符号化部とを有することを特徴とするものである。
【００２７】
請求項１に係る画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換を行って生成された画像データ群に対して、空間周波数成分を算出していたが、上記請求項５に係る画像圧縮装置においては、カラー撮像信号の空間周波数成分を、前記画像データ群を生成させることなく、線形演算によって直接生成される。これにより、画像データ群を保持する手段を必要としないので、画像圧縮装置の小型化を図ることできる。
【００２８】
請求項６に係る発明は、請求項５に係る画像圧縮装置において、前記前処理手段は、カラー撮像信号から、前記色フィルタ上の画素の位置関係と空間的に等価となる位置のカラー撮像信号を生成し、この生成されたカラー撮像信号を基に、前記空間周波数成分の算出処理を行なうように構成されていることを特徴とするものである。
【００２９】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号の各色データに基づいて、色フィルタ上の画素の位置関係と空間的に等価となる位置のカラー撮像信号を生成する。これにより、前記画像圧縮手段の圧縮処理による画質劣化を抑えることができる。
【００３０】
請求項７に係る発明は、請求項６に係る画像圧縮装置において、前記前処理手段は、前記空間的に等価となる位置を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置として設定し、色的に隣接する２つの位置に対応するカラー撮像信号を補間し、当該設定位置のカラー撮像信号を求めるように構成されていることを特徴とするものである。
【００３１】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定領域に含まれる色フィルタ上の色空間を保ったまま、同一色の複数のカラー撮像信号を生成する処理において、乗算が不要で、加算と２ビットシフタのみ等の簡単な回路構成で実現できるので、前記前処理手段の省電力化を図ることができる。
【００３２】
請求項８に係る発明は、請求項５に係る画像圧縮装置において、前記前処理手段は、カラー撮像信号中の同一色に係るカラー撮像信号を所定の配列形式に並び替えた後に、前記空間周波数成分の算出処理を行うことを特徴とするものである。
【００３３】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定領域に含まれる色フィルタ上の色空間を保ったまま、同一色の複数のカラー撮像信号を生成する処理において、演算が不要なので、前記前処理手段の省電力化を実現できる。
【００３４】
請求項９に係る発明は、請求項１に記載の画像圧縮装置と、該画像圧縮装置から出力される符号データから、空間周波数成分を復号化する復号化部と、復号化された空間周波数成分を逆量子化する逆量子化部と、逆量子化された空間周波数成分に基づいて各色毎の撮像データを算出する逆周波数変換部とを備える伸長手段と、該伸長手段から出力される各色毎の撮像データを同時化処理し、画像データを生成する画像データ生成手段とで画像処理システムを構成するものである。
【００３５】
このように構成された画像処理システムにおいては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群が生成され、前記画像圧縮手段は、前記画像データ群に対して圧縮処理を行う。これにより、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃｒ ，Ｃｂ 信号を生成する等の異なる色空間を生成する手段を必要としないので、省電力化を図った画像処理システムを実現することができる。
【００３６】
請求項１０に係る発明は、請求項５に記載の画像圧縮装置と、該画像圧縮装置から出力される符号データから、空間周波数成分を復号化する復号化部と、復号化された空間周波数成分を逆量子化する逆量子化部と、逆量子化された空間周波数成分に基づいて各色毎の撮像データを算出する逆周波数変換部とを備える伸長手段と、該伸長手段から出力される各色毎の撮像データを同時化処理し、画像データを生成する画像データ生成手段とで画像処理システムを構成するものである。
【００３７】
請求項９に係る画像処理システムにおいては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換を行って生成された画像データ群に対して、空間周波数成分を算出していたが、上記請求項１０に係る画像処理システムにおいては、カラー撮像信号の空間周波数成分を、前記画像データ群を生成させることなく、線形演算によって直接生成される。これにより、画像データ群を保持する手段を必要としないので、画像処理システムの小型化を図ることできる。
【００３８】
【発明の実施の形態】
（第１の実施の形態）
次に、実施の形態について説明する。図１は、本発明の第１の実施の形態に係る画像処理システムの概略構成を示すブロック図である。この画像処理システムは、色フィルタ１−１，固体撮像素子１−２，前処理手段１−３からなる前段部１と、周波数変換部２−１，量子化部２−２，符号化部２−３からなる画像圧縮手段２と、復号化部３−１，逆量子化部３−２，逆周波数変換部３−３からなる伸長手段３と、画像データ生成手段４−１からなる後段部４を有している。
【００３９】
前段部１は、色フィルタ１−１の色空間を変えることなく、所定配列形式に変換された画像データ群を生成するものであり、前述のように色フィルタ１−１と固体撮像素子１−２と前処理手段１−３とで構成されている。色フィルタ１−１は、例えば図２の（Ａ）に示すように、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各色フィルタ素子がベイヤ方式で配列されており、被写体からの光が各色フィルタ素子を介して固体撮像素子１−２に入射するように、固体撮像素子１−２の前面に設置されている。なお、色フィルタ１−１は、図２の（Ｂ）に示すような補色フィルタであってもよい。
【００４０】
固体撮像素子１−２は、色フィルタ１−１を介して被写体からの光を受光し、その受光量に応じたカラー撮像信号を出力するものであり、色フィルタ１−１に対応した複数の受光素子を備えている。前処理手段１−３は、色フィルタ１−１を構成する各色フィルタの配置に基づいて、固体撮像素子１−２から出力される全カラー撮像信号Ｒ，Ｇ，Ｂから、その色空間（Ｒ，Ｇ，Ｂ）を変えることなく、所定配列形式に変換された画像データ群Ｒ’，Ｇ’，Ｂ’を生成するものである。画像データ群Ｒ’，Ｇ’，Ｂ’の生成方法については後述する。
【００４１】
以下、画像圧縮手段２，伸長手段３として画像処理ＣＯＤＥＣのＪＰＥＧを利用する場合について説明すると、通常、ＪＰＥＧに入力されるデータは、輝度信号及び色差信号の画像データであるが、輝度信号Ｙ，色差信号Ｃｒ ，Ｃｂ は、各々の信号毎に水平８信号×垂直８信号を単位としてブロック化される。図３〜図５に示すように、前処理手段１−３から出力されたデータを、同じ色データ毎に水平８信号×垂直８信号としてブロック化したものを、入力データとして扱う。
【００４２】
画像圧縮手段２は、周波数変換部２−１において、ＤＣＴ（離散コサイン変換）を施し、入力データを８×８ブロック単位で空間周波数成分に変換し、量子化部２−２において上記周波数変換部２−１で出力された空間周波数成分に対して、量子化処理を行う。更に、量子化部２−２にて出力された量子化空間周波数成分に対して、ジグザグスキャンされたデータを、符号化部２−３でハフマン符号化及びランレングス符号化する。以上のようにして、圧縮された符号データをメモリ等に記録して保存したり、伝送したりする。
【００４３】
伝送された符号データは、伸長手段３に入力される。伸長手段３は、画像圧縮手段２でエンコードされた符号データに対して、デコードするものである。復号化部３−１でランレングス復号化及びハフマン復号化、逆量子化部３−２で逆量子化、逆周波数変換部３−３では逆ＤＣＴを行う。後段部４の画像データ生成手段４−１は、伸長手段３から得られたデータに対して、各色データ毎に補間処理を施し、Ｒ，Ｇ，Ｂ信号を生成する同時化処理を行って画像データを生成するものである。
【００４４】
次に、本実施の形態の画像データ群を生成する前処理手段１−３の動作について説明する。図３〜図５に示す、画像データ群Ｒ’，Ｇ’，Ｂ’の各群を構成する各成分（各成分を識別するための符号は省略している）は、上か下、又は、右か左に隣接する同じ色データ２つの画素から演算によって得る。
【００４５】
以下、各成分の演算方法について説明する。まず、ここで、以降で用いる符号について説明する。図６は、固体撮像素子１−２の受光面を模式的に示したものであり、同図中のＲ，Ｇ，Ｂは、それぞれ原色フィルタのＲ，Ｇ，Ｂの色フィルタ１−１を透過した光を受光する画素を示している。ここで、図６における左上隅の画素Ｒの座標を（１，１）としたとき、この画素Ｒから水平方向にＸ，垂直方向にＹの位置にある画素Ａの座標を（Ｘ，Ｙ）とし、画素Ａからの出力をＡＸＹで表すことにする。
【００４６】
更に、各画像データ群の各成分を２次元的に図６の原色フィルタ上に示すために、図６において、Ｙ＝１，Ｙ＝２の中間点にｊ＝１を設ける。ｊ＝１は、図６の画素（Ｘ，１）と画素（Ｘ，２）とを隔てる水平線上にくることになる。そして、ｊ＝１の水平線から下の同様に設けた水平線にｊ＝２，ｊ＝３，・・・・・、一番上の水平線をｊ＝０と割り当てると、水平方向にＸ，垂直方向にｊの座標を（Ｘ，ｊ）とし、この座標の位置に生成される画像データ群をＡ’Ｘｊで表すことにする。垂直線にも同様にして、ｉ＝０，ｉ＝１，・・・・・を設ける。
【００４７】
さて、固体撮像素子１−２から出力される全カラー撮像信号に対して、以下のような原理に基づいて各画像データ群の各成分を生成した上で、画像データ群Ｒ’，Ｇ’，Ｂ’を構成し、画像圧縮手段２へ出力する。
【００４８】
図６に示した原色フィルタを用いた場合、画像データ群の各成分の位置関係を空間的に等価となる位置にするために、図８の原色フィルタ上に「●」点で示すように、各画像データ群の各成分を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置にくるように設定する。各画像データ群の各成分は、原色フィルタ上の画素Ｒ，Ｇ，Ｂを用いて〔数３〕式（ｊが奇数のときのみ各信号を出力）で表される。
【００４９】
【数３】
ここで、ｊ＝１の場合であって、ｘが奇数のときのＧ’，ｘが偶数のときのＢ′の演算においては、右辺第２項として、現実には存在しないＹ＝０の位置に対応する画素値Ｇｘ０，Ｂｘ０を用いることになる。このときには、右辺第１項と同じ画素値、或は、同色且つ周辺の複数の画素値から補間により求めた画素値等を用いて〔数３〕の演算を行なう。
【００５１】
因みに、図８におけるｊ＝１上の「●」点は、左端（ｘ＝１）がＲ’１１ ，Ｇ’１ １ に、その右隣（ｘ＝２）がＢ’２１ ，Ｇ’２１ に、更にその右隣（ｘ＝３）がＲ’３１ ，Ｇ’３１ に、更にその右隣（ｘ＝４）がＢ’４１ ，Ｇ’４１ に、それぞれ対応するものとなる。ｊ＝２に関しては、左端（ｘ＝１）がＲ’１３ ，Ｇ’１３ に、その右隣（ｘ＝２）がＢ’２３ ，Ｇ’２３ に、更にその右隣（ｘ＝３）がＲ’３３ ，Ｇ’３３ に、更にその右隣（ｘ＝４）がＢ’４３ ，Ｇ’４３ に、それぞれ対応するものとなる。
【００５２】
〔数３〕式より、各画像データ群（Ｒ’，Ｇ’，Ｂ’）の成分数の割合は、１：２：１となり、入力されるデータ（Ｒ，Ｇ，Ｂ）の色データの割合と変わらない。したがって、画像データ群Ｒ’，Ｇ’，Ｂ’の成分数の総数は、入力データの総数と同じくなる。以上のようにして演算されたＲ’ｘｊ ，Ｇ’ｘｊ ，Ｂ’ｘｊ を、前処理手段１−３は、更に各色毎に再構成し、図３〜図５に示す画像データ群Ｒ’，Ｇ’，Ｂ’として出力する。
【００５３】
以上の作業により、各画像データ群の各成分が空間的に等価な位置のものとすることができるので、色毎の相関が取れ、画像圧縮手段２の圧縮による画質の劣化を抑えることができる。
【００５４】
〔数３〕式は、〔数４〕式のように変形できる。
【００５５】
【数４】
したがって、図９に示すように、前処理手段１−３は、１ｂｉｔ シフタ５と２つの加算器６と２ｂｉｔ シフタ７のみの回路構成で実現することができる。なお、この回路では、１ｂｉｔ シフタ５と加算器６でＩＮＤＡＴＡ１を３倍し、その値とＩＮＤＡＴＡ２を加算器６で加算した値を２ｂｉｔ シフタ７で÷４ の処理を行っている。〔数３〕式は、原色フィルタ上において、ｊが奇数の個所に着目して各画像データ群の各成分を生成したが、原色フィルタ上において、ｊが偶数の個所に着目して各成分を生成するときは、各成分は、図６に示す原色フィルタ上の画素Ｒ，Ｇ，Ｂを用いて、〔数５〕式（ｊが偶数のときのみ各信号を出力）で表される。
【００５７】
【数５】
なお、〔数３〕式と〔数５〕式は、上か下に隣接する同じ色データの２つの画素に着目して各成分を生成しているが、右か左に隣接する同じ色データの２つの画素に着目して各成分を生成させると、〔数３〕式及び〔数５〕式と同様の概念で、各成分は、図６に示す原色フィルタ上の画素Ｒ，Ｇ，Ｂを用いて〔数６〕式（ｉが奇数のときのみ各信号を出力）、及び〔数７〕式（ｉ が偶数のときのみ各信号を出力）で表される。
【００５９】
【数６】
【数７】
〔数３〕式と同様に、〔数５〕式、〔数６〕式、〔数７〕式より、各画像データ群（Ｒ’，Ｇ’，Ｂ’）の成分数の割合は、１：２：１で入力されるデータ（Ｒ，Ｇ，Ｂ）の色データの割合と変わらず、画像データ群Ｒ’，Ｇ’，Ｂ’の成分数の総数は、入力データの総数と同じである。〔数５〕式、〔数６〕式、〔数７〕式による各成分の生成も、〔数３〕式と同様の変形により、図９に示す回路構成で実現することができる。
【００６２】
この第１の実施の形態に係る構成によれば、固体撮像素子から得られたカラー撮像信号に基づいて、Ｒ，Ｇ，Ｂの色空間を、例えば、輝度−色差信号（Ｙ，Ｃｒ ，Ｃｂ ）等の別の色空間に変更することなく、所定配列形式に変換された画像データ群Ｒ’，Ｇ’，Ｂ’を生成し、これら画像データ群Ｒ’，Ｇ’，Ｂ’に対して圧縮処理を行う。したがって、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃｒ ，Ｃｂ 信号を生成する手段を必要としないので、固体撮像素子から得られたカラー撮像素子を圧縮処理するまでの工程において、省電力化を実現できる。
【００６３】
なお、前処理手段の構成として、画像データ群Ｒ’，Ｇ’，Ｂ’の生成において、空間的に等価となる位置を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置にくるように設定するのではなく、図８における水平線ｊ上にある黒点を水平画素Ｙ上（但し、Ｙが偶数又は奇数個所のみ）に設定し、その個所に対応する画像データ群Ｒ’，Ｇ’，Ｂ’を生成させても構わない。この構成によれば、画像データ群Ｒ’，Ｇ’，Ｂ’の生成において、空間的に等価となる位置を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置にくるように設定したときと比べ、演算回数が半分になり、その演算は、図１０に示すように、１つの加算器８と１ｂｉｔ シフタ９のみで実現することができる。この演算回路では、ＩＮＤＡＴＡ１とＩＮＤＡＴＡ２を加算器８で加算し，１ｂｉｔ シフタ９により加算値を２で除算している。また、前処理手段の構成として、単にカラー撮像信号Ｒ，Ｇ，Ｂの同色同士を並び替え、画像データ群Ｒ’，Ｇ’，Ｂ’を生成させても構わない。この構成によれば、並び換えの処理のみ施せばよく、演算が不要になる。
【００６４】
なお、図７に示すような補色フィルタを用いたときも、原色フィルタと同様の定義付けをすると、画像データ群Ｗ’，Ｙｅ’，Ｇ’，Ｃｙ’は、補色フィルタ上の画素Ｗ，Ｙｅ ，Ｇ，Ｃｙ を用いて、原色フィルタ同様の原理で生成することができる。
【００６５】
（第２の実施の形態）
次に、第２の実施の形態について説明する。図１１は、本発明の第２の実施の形態に係る画像処理システムの概略構成を示すブロック図である。この画像処理システムは、色フィルタ１１−１，固体撮像素子１１−２，前処理手段１１−３からなる前段部１１と、量子化部１２−１，符号化部１２−２からなる画像圧縮手段１２と、復号化部１３−１，逆量子化部１３−２，逆周波数変換部１３−３からなる伸長手段１３と、画像データ生成手段１４−１からなる後段部１４とを有している。
【００６６】
本実施の形態における前処理手段１１−３以外の動作は、第１の実施の形態と同様である。この実施の形態における前処理手段１１−３は、色フィルタ１１−１を構成する各色フィルタの配置に基づいて、固体撮像素子１１−２から出力される全カラー撮像信号に対して線形演算を施すことにより、第１の実施の形態に基づき生成される画像データ群Ｒ’，Ｇ’，Ｂ’に対する空間周波数成分を生成するものである。
【００６７】
次に、本実施の形態における前処理手段１１−３の動作について説明する。なお、図６及び図７において、Ｘ，Ｙ，ｉ，ｊの定義については、第１の実施の形態と同様である。第２の実施の形態においては、固体撮像素子１１−２から出力される全カラー撮像信号に対して、以下のような原理に基づいて線形演算を施すことにより、画像データ群Ｒ’，Ｇ’，Ｂ’に対する空間周波数成分を生成し、画像圧縮手段１２へ出力する。まず第１の実施の形態で述べたように、色フィルタとして図６に示す原色フィルタを用いた場合、画像データ群Ｒ’，Ｇ’，Ｂ’は原色フィルタ上の画素Ｒ，Ｇ，Ｂを用いて、〔数８〕式（ｊが奇数のときのみ各信号を出力）で表される。
【００６８】
【数８】
上記〔数８〕式より、画像データ群Ｒ’，Ｇ’，Ｂ’は、それぞれ画素Ｒ，Ｇ，Ｂからの出力に対して線形な関係となる。したがって、画像データ群Ｒ’，Ｇ’，Ｂ’の各成分Ｒ’ｘｊ ，Ｇ’ｘｊ ，Ｂ’ｘｊ は、例えば行列ＥＲ’ ｉｊＸＹ，ＥＧ’ ｉｊＸＹ，ＥＢ’ ｉｊＸＹ、ｒＸＹ、ｇＸＹ、ｂＸＹを用いて、〔数９〕式で表される。
【００７０】
【数９】
一方、画像データ群Ｒ’，Ｇ’，Ｂ’の空間周波数成分は、従来の技術として知られているように、〔数１０〕式で示される行列Ｆｍｎｉｊを用いて表される。
【００７２】
【数１０】
したがって、画像データ群Ｒ′，Ｇ′，Ｂ′の各成分Ｒ’ｘｊ ，Ｇ’ｘｊ ，Ｂ’ｘｊの空間周波数成分Ｒ’ｍｎ ，Ｇ’ｍｎ ，Ｂ’ｍｎ は、行列Ｆｍｎｉｊ，画像データ群Ｒ’ｘｊ，Ｇ’ｘｊ ，Ｂ’ｘｊ を用いて、〔数１１〕式で表される。
【００７４】
【数１１】
〔数９〕式と〔数１１〕式より、画像データ群Ｒ’，Ｇ’，Ｂ’の各成分Ｒ’ｘｊ，Ｇ’ｘｊ ，Ｂ’ｘｊ の空間周波数成分Ｒ’ｍｎ ，Ｇ’ｍｎ ，Ｂ’ｍｎ は、ｒＸＹ、ｇＸＹ、ｂＸＹを用いて、〔数１２〕式で表される。
【００７６】
【数１２】
ここで、〔数９〕式における行列ＥＲ’ ｉｊＸＹ，ＥＧ’ ｉｊＸＹ，ＥＢ’ ｉｊＸＹ，及び〔数１１〕式における行列Ｆｍｎｉｊは、共に線形演算であるので、〔数１２〕式は単一の行列ＷＲ’ ｍｎＸＹ，ＷＧ’ ｍｎＸＹ，ＷＢ’ ｍｎＸＹを用いて、〔数１３〕式で表される。
【００７８】
【数１３】
したがって、前処理手段１１−３が、〔数１３〕式の行列ＷＲ’ ｍｎＸＹ，ＷＧ’ ｍｎＸＹ，ＷＢ’ ｍｎＸＹによる線形演算を施すことにより、画像データ群Ｒ’，Ｇ’，Ｂ’の各成分Ｒ’ｘｊ ，Ｇ’ｘｊ ，Ｂ’ｘｊ の空間周波数成分Ｒ’ｍｎ ，Ｇ’ｍｎ ，Ｂ’ｍｎ が求まることになる。
【００８０】
第１の実施の形態と同様に、単にカラー撮像信号Ｒ，Ｇ，Ｂの同色同士を並べ替えた画像データ群Ｒ’，Ｇ’，Ｂ’に対する空間周波数成分を生成する手法や、図８における水平線ｊ上にある黒点を水平画素Ｙ上（但し、Ｙが偶数又は奇数個所のみ）に設定し、その個所に対応する画像データ群Ｒ’，Ｇ’，Ｂ’に対する空間周波数成分を生成する手法でも、第１の実施の形態と同様の効果が得られる。
【００８１】
なお、色フィルタとして図７に示す補色フィルタを用いた場合も、線形演算を施すことにより、画像データ群Ｗ’，Ｙｅ’，Ｇ’，Ｃｙ’の各成分Ｗ’ｘｊ ，Ｙｅ’ｘｊ，Ｇ’ｘｊ ，Ｃｙ’ｘｊの空間周波数成分Ｗ’ｍｎ ，Ｙｅ’ｍｎ，Ｇ’ｍｎ ，Ｃｙ’ｍｎを求めることができる。
【００８２】
本実施の形態によれば、固体撮像素子から得られたカラー撮像信号に基づいて、第１の実施の形態における画像データ群Ｒ’，Ｇ’，Ｂ’の空間周波数成分が、画像データ群Ｒ’，Ｇ’，Ｂ’を生成させることなく、線形演算によって直接生成される。したがって、第１の実施の形態の効果に加えて、画像データ群Ｒ’，Ｇ’，Ｂ’を保持する手段を必要としないので、固体撮像素子から得られたカラー撮像信号を圧縮処理するまでの構成において小型化を実現できる。
【００８３】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群が生成され、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃｒ ，Ｃｂ 信号を生成する等の異なる色空間を生成する手段を必要としないので、画像圧縮装置の省電力化を図ることができる。また、請求項２に係る発明によれば、圧縮処理による画質劣化を抑えることの可能な請求項１に係る画像圧縮装置を実現できる。また、請求項３に係る発明によれば、画像データ群の生成を簡易な回路構成で実現できる請求項２に係る画像圧縮装置を提供できる。また、請求項４に係る発明によれば、画像データ群の生成が簡易な回路構成で実現できる請求項１に係る画像圧縮装置を提供することができる。また、請求項５に係る発明によれば、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群の空間周波数成分が直接生成され、画像データ群を保持する手段を必要としないので、画像圧縮装置の小型化を実現できる。
【００８４】
また、請求項６に係る発明によれば、圧縮処理による画質劣化を抑えることの可能な請求項５に係る画像圧縮装置を実現できる。また、請求項７に係る発明によれば、簡易な回路構成で省電力化を図れる請求項６に係る画像圧縮装置を実現できる。また、請求項８に係る発明によれば、簡易な回路構成で省電力化を図れる請求項５に係る画像圧縮装置を実現することができる。また、請求項９に係る発明によれば、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群が生成され、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃｒ，Ｃｂ 信号を生成する等の異なる色空間を生成する手段を必要としないので、画像処理システムの省電力化を実現できる。また、請求項１０に係る発明によれば、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群の空間周波数成分が直接生成され、画像データ群を保持する手段を必要としないので、画像処理システムの小型化を実現できる。
【図面の簡単な説明】
【図１】本発明に係る、色空間を保ったまま、各色毎に、所定配列形式に変換を行って画像データ群を生成する前処理手段を含む画像処理システムの第１の実施の形態の概略構成を示すブロック図である。
【図２】色フィルタの構成例を示す平面図である。
【図３】第１の実施の形態における周波数変換部に入力される画像データ群Ｒ’（ブロック化）を示す説明図である。
【図４】第１の実施の形態における周波数変換部に入力される画像データ群Ｇ’（ブロック化）を示す説明図である。
【図５】第１の実施の形態における周波数変換部に入力される画像データ群Ｂ’（ブロック化）を示す説明図である。
【図６】原色フィルタの色配列に対応した固体撮像素子の画素と、各画素から出力されるカラー撮像信号に基づいて得られる画像データ群が出力される位置関係を示す説明図である。
【図７】補色フィルタの色配列に対応した固体撮像素子の画素と、各画素から出力されるカラー撮像信号に基づいて得られる画像データ群が出力される位置関係を示す説明図である。
【図８】第１の実施の形態において生成される画像データ群の色フィルタの画素上における位置関係を示す説明図である。
【図９】第１の実施の形態における前処理手段の演算の一例を実現する回路構成を示すブロック図である。
【図１０】第１の実施の形態における前処理手段の演算の他の例を実現する回路構成を示すブロック図である。
【図１１】本発明の第２の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
【図１２】一般的な画像処理システムを示す概略ブロック図である。
【図１３】従来の画像圧縮、伝送、伸長及び再生手段からなる画像処理システムの構成を示すブロック図である。
【符号の説明】
１ 前段部
１−１ 色フィルタ
１−２ 固体撮像素子
１−３ 前処理手段
２ 画像圧縮手段
２−１ 周波数変換部
２−２ 量子化部
２−３ 符号化部
３ 伸長手段
３−１ 復号化部
３−２ 逆量子化部
３−３ 逆周波数変換部
４ 後段部
４−１ 画像データ生成手段
５ １ｂｉｔ シフタ
６ 加算器
７ ２ｂｉｔ シフタ
８ 加算器
９ １ｂｉｔ シフタ
１１ 前段部
１１−１ 色フィルタ
１１−２ 固体撮像素子
１１−３ 前処理手段
１２ 画像圧縮手段
１２−１ 量子化部
１２−２ 符号化部
１３ 伸長手段
１３−１ 復号化部
１３−２ 逆量子化部
１３−３ 逆周波数変換部
１４ 後段部
１４−１ 画像データ生成手段
１０１ 撮像装置
１０２ 画像データ圧縮装置
１０３ 画像データ伸長装置
１０４ 画像再生装置
２０１ 前段部
２０１−１ 色フィルタ
２０１−２ 固体撮像素子
２０１−３ 同時化部
２０１−４ 輝度・色差信号変換部
２０２ 画像圧縮手段
２０２−１ 周波数変換部
２０２−２ 量子化部
２０２−３ 符号化部
２０３ 伸長手段
２０３−１ 復号化部
２０３−２ 逆量子化部
２０３−３ 逆周波数変換部
２０４ 後段部
２０４−１ 色信号変換部
Claims (10)
- 所定の色配列を有する色フィルタが受光面に貼付された、固体撮像素子から出力されたカラー撮像信号を処理する画像圧縮装置であって、前記固体撮像素子からのカラー撮像信号を、色フィルタ上の色空間は保ったまま、各色毎に、所定の配列形式に変換を行なって画像データ群を生成する前処理を行う前処理手段と、前記所定の配列形式で配列された画像データ群を１ユニットとして、１ユニット中の空間周波数成分を算出する周波数変換部と、空間周波数成分を量子化する量子化部と、量子化された空間周波数成分を符号化する符号化部とを備える画像圧縮手段とを有することを特徴とする画像圧縮装置。
- 前記前処理手段は、カラー撮像信号から、前記色フィルタ上の画素の位置関係と空間的に等価となる位置のカラー撮像信号を生成し、この生成されたカラー撮像信号を基に、前記変換を行なうように構成されていることを特徴とする請求項１に係る画像圧縮装置。
- 前記前処理手段は、前記空間的に等価となる位置を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置として設定し、色的に隣接する２つの位置に対応するカラー撮像信号を補間し、当該設定位置のカラー撮像信号を求めるように構成されていることを特徴とする請求項２に係る画像圧縮装置。
- 前記前処理手段は、カラー撮像信号から、同一色に係るカラー撮像信号を抽出し、前記所定配列形式に並び替えるように構成されていることを特徴とする請求項１に係る画像圧縮装置。
- 所定の色配列を有する色フィルタが受光面に貼付された、固体撮像素子から出力されたカラー撮像信号を処理する画像圧縮装置であって、所定領域に含まれる、色フィルタ上の色空間を保ったまま、同一色の複数のカラー撮像信号を１ユニットとして、この１ユニットの空間周波数成分を、線形演算により算出する前処理手段と、空間周波数成分を量子化する量子化部と、量子化された空間周波数成分を符号化する符号化部とを有することを特徴とする画像圧縮装置。
- 前記前処理手段は、カラー撮像信号から、前記色フィルタ上の画素の位置関係と空間的に等価となる位置のカラー撮像信号を生成し、この生成されたカラー撮像信号を基に、前記空間周波数成分の算出処理を行なうように構成されていることを特徴とする請求項５に係る画像圧縮装置。
- 前記前処理手段は、前記空間的に等価となる位置を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置として設定し、色的に隣接する２つの位置に対応するカラー撮像信号を補間し、当該設定位置のカラー撮像信号を求めるように構成されていることを特徴とする請求項６に係る画像圧縮装置。
- 前記前処理手段は、カラー撮像信号中の同一色に係るカラー撮像信号を所定の配列形式に並び替えた後に、前記空間周波数成分の算出処理を行うことを特徴とする請求項５に係る画像圧縮装置。
- 請求項１に記載の画像圧縮装置と、該画像圧縮装置から出力される符号データから、空間周波数成分を復号化する復号化部と、復号化された空間周波数成分を逆量子化する逆量子化部と、逆量子化された空間周波数成分に基づいて各色毎の撮像データを算出する逆周波数変換部とを備える伸長手段と、該伸長手段から出力される各色毎の撮像データを同時化処理し、画像データを生成する画像データ生成手段とを有することを特徴とする画像処理システム。
- 請求項５に記載の画像圧縮装置と、該画像圧縮装置から出力される符号データから、空間周波数成分を復号化する復号化部と、復号化された空間周波数成分を逆量子化する逆量子化部と、逆量子化された空間周波数成分に基づいて各色毎の撮像データを算出する逆周波数変換部とを備える伸長手段と、該伸長手段から出力される各色毎の撮像データを同時化処理し、画像データを生成する画像データ生成手段とを有することを特徴とする画像処理システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003110057A JP4257145B2 (ja) | 2003-04-15 | 2003-04-15 | 画像圧縮装置及び画像処理システム |
| US10/808,306 US7313272B2 (en) | 2003-04-15 | 2004-03-25 | Image compression apparatus and image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003110057A JP4257145B2 (ja) | 2003-04-15 | 2003-04-15 | 画像圧縮装置及び画像処理システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004320301A true JP2004320301A (ja) | 2004-11-11 |
| JP2004320301A5 JP2004320301A5 (ja) | 2006-05-25 |
| JP4257145B2 JP4257145B2 (ja) | 2009-04-22 |
Family
ID=33156942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003110057A Expired - Fee Related JP4257145B2 (ja) | 2003-04-15 | 2003-04-15 | 画像圧縮装置及び画像処理システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7313272B2 (ja) |
| JP (1) | JP4257145B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4497872B2 (ja) * | 2003-09-10 | 2010-07-07 | キヤノン株式会社 | 撮像装置 |
| JP4606838B2 (ja) * | 2004-10-20 | 2011-01-05 | 富士フイルム株式会社 | 電子内視鏡装置 |
| US7683809B2 (en) * | 2008-04-11 | 2010-03-23 | Aceurity, Inc. | Advanced lossless bit coding |
| CN106063133B (zh) * | 2014-03-05 | 2019-06-14 | 三菱电机株式会社 | 数据压缩装置和数据压缩方法 |
| JP2016208356A (ja) * | 2015-04-24 | 2016-12-08 | アルパイン株式会社 | 画像圧縮装置、画像圧縮方法、画像伸長装置および画像伸長方法 |
| JP6821183B2 (ja) * | 2017-02-23 | 2021-01-27 | 株式会社シキノハイテック | 画像復号化装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5402171A (en) * | 1992-09-11 | 1995-03-28 | Kabushiki Kaisha Toshiba | Electronic still camera with improved picture resolution by image shifting in a parallelogram arrangement |
| US5541648A (en) * | 1992-10-09 | 1996-07-30 | Canon Kabushiki Kaisha | Color image pickup apparatus having a plurality of color filters arranged in an offset sampling structure |
| JPH11112977A (ja) | 1997-09-30 | 1999-04-23 | Sharp Corp | 画像撮像圧縮システム |
| JP3556447B2 (ja) * | 1997-11-07 | 2004-08-18 | シャープ株式会社 | カラー固体撮像カメラシステム |
| US6829016B2 (en) * | 1999-12-20 | 2004-12-07 | Texas Instruments Incorporated | Digital still camera system and method |
| US6836289B2 (en) * | 1999-12-20 | 2004-12-28 | Texas Instruments Incorporated | Digital still camera architecture with red and blue interpolation using green as weighting factors |
| JP4195169B2 (ja) * | 2000-03-14 | 2008-12-10 | 富士フイルム株式会社 | 固体撮像装置および信号処理方法 |
-
2003
- 2003-04-15 JP JP2003110057A patent/JP4257145B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-25 US US10/808,306 patent/US7313272B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7313272B2 (en) | 2007-12-25 |
| US20040207737A1 (en) | 2004-10-21 |
| JP4257145B2 (ja) | 2009-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0651562A1 (en) | An electronic camera utilizing image compression feedback for improved color processing | |
| JP2002516540A (ja) | 知覚的に無損失の画像をもたらす２次元離散ウェーブレット変換に基づくカラー画像の圧縮 | |
| Malvar et al. | Progressive-to-lossless compression of color-filter-array images using macropixel spectral-spatial transformation | |
| JP3908095B2 (ja) | カラーエイリアジングのアーティファクトを低減するデジタル画像システム | |
| US20050212933A1 (en) | Luminance and color difference signal generation apparatus, image data compression apparatus, and image processing system | |
| JP2010141922A (ja) | ウェーブレット変換システム、方法、及びコンピュータプログラム製品 | |
| US9148672B2 (en) | Method and apparatus for residue transform | |
| JP2011015347A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| JP5092558B2 (ja) | 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置 | |
| JP4257145B2 (ja) | 画像圧縮装置及び画像処理システム | |
| JP5309046B2 (ja) | 符号化装置、及びプログラム | |
| JP3469438B2 (ja) | 画像信号の処理方法及び装置、記録媒体 | |
| WO2011010431A1 (ja) | 画像処理装置、画像処理方法および撮像装置 | |
| US20040252894A1 (en) | Image compression apparatus and image processing system | |
| US7787700B2 (en) | Signal processing method, signal processing apparatus, computer-readable medium and a data recording medium | |
| Trifan et al. | A survey on lossless compression of Bayer color filter array images | |
| JP2008124530A (ja) | Ｒａｗデータ圧縮方法 | |
| JP3709106B2 (ja) | 画像圧縮および伸張装置 | |
| JP2891246B2 (ja) | デジタルカメラ | |
| US20220256127A1 (en) | Image encoding apparatus, method for controlling the same, and non-transitory computer-readable storage medium | |
| JP2007295319A (ja) | 画像処理装置及びそれを備えた画像形成装置 | |
| Mohebbian et al. | CFA image compression using an efficient cascaded overlapping color transformation | |
| JP4194311B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 | |
| JP2005217896A (ja) | 画像符号化装置 | |
| JP4174254B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060316 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060316 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090113 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090202 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140206 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |