JP2006094225A - 画像処理装置、画像処理方法、およびそのプログラム - Google Patents

Abstract

【課題】 単板化イメージセンサにより得られる画像データを、色補間することなくＪＰＥＧ圧縮の形式に適合させることが可能な画像処理装置、画像処理方法、およびそのプログラムを提供することである。
【解決手段】 色コンポーネント抽出装置１１では、画像情報に含まれるＧｒ、Ｇｂ、Ｒ、Ｂコンポーネントのそれぞれの画素情報を抽出した基本画素単位ＢＰＵが生成される。ここで基本画素単位ＢＰＵは、単板式イメージセンサ１０のマトリクスにおいて、各色コンポーネントごとに、水平・垂直方向に２次元に隣り合う画素情報を８×８画素として抽出した単位である。基本画素単位ＢＰＵは、ＪＰＥＧ圧縮装置１３へ入力される。ＪＰＥＧ圧縮装置１３からは圧縮後画像情報ＣＤＡＴが出力され、フラッシュメモリカード等の情報メディア１４に入力される。
【選択図】 図１

Description

本発明は、撮像された画像データの画像処理に関するものであり、特に、単板式イメージセンサにより撮像される画像データの処理に関するものである。

図１２に、一般的なデジタルカメラ等の撮像装置における回路ブロックの構成例を示す。被写体を捉える撮像素子としては単板式イメージセンサ１００を備えることが一般的である。単板式イメージセンサ１００とは、画素位置ごとに、複数の色コンポーネントのうち何れか一つの色コンポーネントを有する色フィルタ素子が、画素ごとにマトリクス状に配置されたものであり、各画素位置からは特定の色コンポーネントの情報が取得される撮像素子をいう。

単板式イメージセンサ１００から出力される、画素位置ごとに特定の色コンポーネントの情報のみを有する出力信号から、画素ごとに、３原色（ＲＧＢ）あるいは輝度および色差（ＹＣｂＣｒ）といった基本的な画像情報を数値演算により算出する必要がある。すなわち、色補間による３板化処理である。３板化処理装置１２０により行われる。

３板化された画像情報は、必要に応じて輝度および色差（ＹＣｂＣｒ）の色空間に変換され、更に４２２形式（ＹＣｂＣｒ４２２形式）または４２０形式に変換された後、ＪＰＥＧ圧縮装置１３０にてＪＰＥＧ圧縮が施される。ＪＰＥＧ圧縮された画像データは、フラッシュメモリカード等の情報メディア１４０に格納される。

このときの画像情報変換の様子を図１３に示す。単板式イメージセンサ１００から出力される色コンポーネントの情報がベイヤ配列であるとする。図１３では１６×１６画素のベイヤ配列（Ｄ１００）を考える。ＹＣｂＣｒの画像情報に変換されると共に色補間されて画素ごとにＹＣｂＣｒの各画像情報が得られるところ、ＪＰＥＧ圧縮であるため色差情報が間引かれ４２２形式（Ｄ１０１）としてＪＰＥＧ圧縮装置１３０に渡される。このときの画素数は、輝度（Ｙ）情報が１６×１６画素であるところ、各色差情報（ＣｂＣｒ）は１６×８画素ずつに間引かれる。色補間されて３倍に拡大するデータ量は、ＪＰＥＧ圧縮に先立つ４２２形式への変換により２倍のデータ量に拡大された上でＪＰＥＧ圧縮される。

尚、上記の関連技術として特許文献１乃至３が開示されている。

特開２００２−８４５４７号公報 特開２０００−３４１７０６号公報 特開２０００−２７０２９４号公報

しかしながら、上記の背景技術においては、撮像された画像データに対しては、色補間を行って３板化した後にＪＰＥＧ圧縮することが必要である。単板イメージセンサにより得られた画素ごとに異なる色情報に基づき、各画素に対してＲＧＢで３原色の各々のデータを演算しなければならず、色補間に際し複雑な演算が必要である。複雑で大規模な演算回路を備える必要があると共に、多大な演算処理時間を必要とするおそれがある。演算回路に伴う消費電流の増大や回路占有面積の増大といった問題がある。また、色補間の処理時間により高速処理が制限されてしまうおそれがあり問題である。例えば、デジタルカメラを想定する場合に、連写性能が制限されてしまうおそれがある。

また、色補間により各画素に対して基本画像データが演算されるため、画像データ量が増大してしまうといった問題がある。処理時間の増大と共にデータの格納領域も増やさざるを得ず、問題である。

本発明は前記背景技術の課題の少なくとも１つを解消するためになされたものであり、単板化イメージセンサにより得られる画像データを、色補間することなくＪＰＥＧ圧縮の形式に適合させることが可能な画像処理装置、画像処理方法、およびそのプログラムを提供することを目的とする。

前記目的を達成するために、第１の発明に係る画像処理装置は、単板式イメージセンサにより取得される画像情報の画像処理装置において、画像情報の色コンポーネントごとに隣り合う画素情報を、８×８画素からなる基本画素単位として抽出する抽出部を備え、基本画素単位ごとにＪＰＥＧアルゴリズムにより処理が行われることを特徴とする。

単板式イメージセンサには、画素位置ごとに、複数の色コンポーネントのうち何れか一つの色コンポーネントを有する色フィルタ素子が、画素ごとにマトリクス状に配置される。同一色コンポーネントは所定周期画素ごとに配置され、互いに接するとは限らない。画像情報は、単板式イメージセンサにより取得される情報であり、複数の画素情報を備える。画素情報は、各色コンポーネントの各画素の情報である。基本画素単位は、単板式イメージセンサのマトリクスにおいて、色コンポーネントごとに、水平・垂直方向に２次元に隣り合う画素情報を８×８画素として抽出した単位である。抽出部は、画像情報から基本画素単位を抽出して、ＪＰＥＧ圧縮の形式に適合させる動作を行う。基本画素単位ごとにＪＰＥＧアルゴリズムにより圧縮・復元等の処理が行われる。

これにより、第１に、基本画素単位を抽出してＪＰＥＧ圧縮の形式に適合させることで、ＪＰＥＧ圧縮が可能となる。抽出処理は色補間処理等に比して計算負荷が低いため、計算処理能力の低い各種携帯機器等においても高速なＪＰＥＧ圧縮処理が可能となる。よって本発明にかかる画像処理装置をデジタルスチルカメラ等に適用した場合、連射性能を向上させることが可能となる。また本発明に係る抽出部は、従来の色補間処理部に比して、回路規模を削減することができるため、チップサイズの縮小化を図ることが可能となり、また消費電流の増大を抑えることが可能となる。

また第２に、抽出部で行われる処理は各画素情報を基本画素単位として抽出するだけであり、画像情報量が増加することがないため、高速なＪＰＥＧ圧縮・復元処理が可能となる。またデータの格納領域を増加させる必要がないため、回路占有面積の増大や消費電流の増大を抑えることができる。

また第３に、本発明の画像処理装置では、基本画素単位を抽出することでＪＰＥＧ圧縮することができるため、他装置でＪＰＥＧ復元する際に色補間処理等を行うことが可能となる。すなわち色補間処理等をＪＰＥＧ圧縮前ではなく、ＪＰＥＧ復元後に行うことが可能となる。よってより計算能力の高い外部機器等で高度な色補間等の各種処理が可能となるため、処理の精度を上げ、ユーザの好みに応じた高精度な画像情報を得ることが出来る。

本発明によれば、単板化イメージセンサにより得られる画像情報を、色コンポーネントごとに隣り合う画素情報を８×８画素からなる基本画素単位として抽出することで、ＪＰＥＧ圧縮の形式に適合させ、ＪＰＥＧアルゴリズムにより圧縮・復元することが可能な画像処理装置、画像処理方法、およびそのプログラムを提供することが可能となる。これにより、ＪＰＥＧ圧縮処理の高速化、チップサイズの縮小化、低消費電流化を図ることが可能となる。

以下、本発明の画像処理装置、画像処理方法、およびそのプログラムについて具体化した実施形態を図１乃至図１１に基づき図面を参照しつつ詳細に説明する。本発明の第１実施形態を図１乃至図５を用いて説明する。図１に第１実施形態に係る画像処理装置１を示す。画像処理装置１は、単板式イメージセンサ１０、色コンポーネント抽出装置１１、ＪＰＥＧ圧縮装置１３、情報メディア１４を備える。

単板式イメージセンサ１０は、被写体を捉える撮像素子として備えられる。単板式イメージセンサ１０は、画素位置ごとに、３原色（ＲＧＢ）の色コンポーネントのうち何れか一つの色コンポーネントを有する色フィルタ素子が、画素ごとにマトリクス状に配置されたものであり、各画素位置から特定の色コンポーネントの画素情報が取得される撮像素子である。

単板式イメージセンサ１０からは、所定数の画素情報からなる画像情報ＧＤＡＴが出力され、色コンポーネント抽出装置１１に入力される。色コンポーネント抽出装置１１では、画像情報に含まれるＧｒ、Ｇｂ、Ｒ、Ｂコンポーネントのそれぞれの画素情報を抽出した基本画素単位ＢＰＵが生成される。ここで基本画素単位ＢＰＵは、単板式イメージセンサ１０のマトリクスにおいて、色コンポーネントごとに、水平・垂直方向に２次元に隣り合う画素情報を８×８画素として抽出した単位である。基本画素単位ＢＰＵは、ＪＰＥＧ圧縮装置１３へ入力される。ＪＰＥＧ圧縮装置１３からは圧縮後画像情報ＣＤＡＴが出力され、フラッシュメモリカード等の情報メディア１４に入力される。

色コンポーネント抽出装置１１の回路図を図２に示す。色コンポーネント抽出装置１１は、ＢＡＹＲＡＭ部２０、Ｖカウンタ２１、Ｈカウンタ２２、アドレスエンコーダ２３、処理切替指示部２４を備える。ＢＡＹＲＡＭ部２０には、画像情報ＧＤＡＴが入力される。またＶカウンタ２１、Ｈカウンタ２２には、処理開始信号ＳＳが入力される。

Ｖカウンタ２１から出力されるカウント値Ｖｃｎｔ、Ｈカウンタ２２から出力されるカウント値Ｈｃｎｔ、処理切替指示部２４から出力される切替信号ＣＳは、それぞれアドレスエンコーダ２３に入力される。アドレスエンコーダ２３から出力される第１アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ１乃至第４アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ４は、ＢＡＹＲＡＭ部２０に入力される。ＢＡＹＲＡＭ部２０からは、第１アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ１乃至第４アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ４に応じて得られた基本画素単位ＢＰＵが出力される。

色コンポーネント抽出装置１１の動作を、図３に示すＲＧＢベイヤ配列（１６×１６画素）の画像情報を処理する場合を例として説明する。なお各色コンポーネントの画素情報Ｒ、Ｇｒ、Ｇｂ、Ｂは、それぞれ８ビット幅のデータであるとする。図３のＲＧＢベイヤ配列に配列された各画素情報は、左上部から右方向へ順次走査するように読み出されてＢＡＹＲＡＭ部２０に送られる。各画素情報は、図４（Ａ）に示すようなアドレスを有してＢＡＹＲＡＭ部２０に格納される。このときＢＡＹＲＡＭ部２０は、幅８ビット、ワード数２５６以上のメモリ領域を備える必要がある。

次に、ＢＡＹＲＡＭ部２０に対する、第１アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ１乃至第４アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ４が、アドレスエンコーダ２３で生成される。アドレスエンコーダ２３は、Ｖｅｒｉｌｏｇ−ＲＴＬ形式で示された以下の生成論理（１）乃至（４）を備える。
生成論理（１）：ａｓｓｉｇｎ ＢＡＹＲＡＭ＿ＡＤＲＳ［７：０］＝｛Ｖｃｎｔ［２：０］，￣Ｈｃｎｔ［０］，１’ｂ０，Ｈｃｎｔ［２：０］｝；
生成論理（２）：ａｓｓｉｇｎ ＢＡＹＲＡＭ＿ＡＤＲＳ［７：０］＝｛Ｖｃｎｔ［２：０］，￣Ｈｃｎｔ［０］，１’ｂ１，Ｈｃｎｔ［２：０］｝；
生成論理（３）：ａｓｓｉｇｎ ＢＡＹＲＡＭ＿ＡＤＲＳ［７：０］＝｛Ｖｃｎｔ［２：０］，１’ｂ０，Ｈｃｎｔ［２：０］，１’ｂ０｝；
生成論理（４）：ａｓｓｉｇｎ ＢＡＹＲＡＭ＿ＡＤＲＳ［７：０］＝｛Ｖｃｎｔ［２：０］，１’ｂ１，Ｈｃｎｔ［２：０］，１’ｂ１｝；

生成論理（１）（２）は、ＢＡＹＲＡＭ部２０に格納された各画素情報における、隣り合う画素情報Ｇｒ、Ｇｂを、８×８画素からなる基本画素単位ＢＰＵとして抽出する論理である。同様に生成論理（３）は、ＢＡＹＲＡＭ部２０に格納された各画素情報における、隣り合う画素情報Ｒを基本画素単位ＢＰＵとして抽出する論理である。また同様に生成論理（４）は、ＢＡＹＲＡＭ部２０に格納された各画素情報から、隣り合う画素情報Ｂを基本画素単位ＢＰＵとして抽出する論理である。

アドレスエンコーダ２３の動作を説明する。まず処理切替指示部２４（図２）から、生成論理（１）で第１アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ１を生成する旨の切替信号ＣＳが、アドレスエンコーダ２３へ入力される。そして処理開始信号ＳＳがＶカウンタ２１およびＨカウンタ２２に入力されると、両カウンタは共に０へ初期化される。Ｖカウンタ２１、Ｈカウンタ２２は、３ビットカウンタである。Ｈカウンタ２２は１サイクルごとに１カウントアップされ、Ｖカウンタ２１はＨカウンタ２２がオーバーフローする際に１カウントアップされるため、Ｖカウンタ２１とＨカウンタ２２との組み合わせで６４カウントが可能とされる。６４カウントにより得られたカウント値Ｖｃｎｔ、Ｈｃｎｔがアドレスエンコーダ２３に入力されると、アドレスエンコーダ２３では、図４（Ｂ）に示すように、生成論理（１）により生成された第１アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ１が得られる。第１アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ１によりＢＡＹＲＡＭ部２０がリードされることで、図５の領域Ａ１に示すように、隣り合う画素情報Ｇｒ、Ｇｂを画像情報から抽出して得られた基本画素単位ＢＰＵが得られる。得られた基本画素単位ＢＰＵは、ＪＰＥＧ圧縮装置１３へ入力される。

次に処理切替指示部２４（図２）から、生成論理（２）で第２アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ２を生成する旨の切替信号ＣＳが、アドレスエンコーダ２３へ入力される。そして処理開始信号ＳＳが入力され、Ｖカウンタ２１およびＨカウンタ２２は共に０へ初期化される。カウント値Ｖｃｎｔ、Ｈｃｎｔがアドレスエンコーダ２３に入力されると、アドレスエンコーダ２３では、図４（Ｂ）に示すように、第２アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ２が得られる。第２アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ２によりＢＡＹＲＡＭ部２０がリードされることで、図５の領域Ａ２に示すような、隣り合う画素情報Ｇｒ、Ｇｂを画像情報から抽出して得られた基本画素単位ＢＰＵが得られる。得られた基本画素単位ＢＰＵは、ＪＰＥＧ圧縮装置１３へ入力される。

さらに、処理切替指示部２４（図２）から、生成論理（３）で第３アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ３を生成する旨の切替信号ＣＳが、アドレスエンコーダ２３へ入力されると、アドレスエンコーダ２３では、第３アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ３（図４（Ｂ））が得られる。第３アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ３によりＢＡＹＲＡＭ部２０がリードされることで、図５の領域Ａ３に示すような、隣り合う画素情報Ｒを、画像情報から抽出して得られた基本画素単位ＢＰＵが得られる。
当該基本画素単位ＢＰＵは、ＪＰＥＧ圧縮装置１３へ入力される。

さらに、処理切替指示部２４（図２）から、生成論理（４）で第４アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ４を生成する旨の切替信号ＣＳが、アドレスエンコーダ２３へ入力されると、アドレスエンコーダ２３では、第４アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ４（図４（Ｂ））が得られる。第４アクセスアドレスＢＡＹＲＡＭ＿ＡＤＲＳ４によりＢＡＹＲＡＭ部２０がリードされることで、図５の領域Ａ４に示すような、隣り合う画素情報Ｂを、画像情報から抽出して得られた基本画素単位ＢＰＵが得られる。
当該基本画素単位ＢＰＵは、ＪＰＥＧ圧縮装置１３へ入力される。

このように生成論理（１）乃至（４）の４つの処理を１セットとして行うことで、図５に示すＪＰＥＧ圧縮の形式に適合した１６×８画素の４２２形式のデータが生成され、それぞれＪＰＥＧ圧縮装置１３に入力される。ＪＰＥＧ圧縮装置１３では、入力される基本画素単位ＢＰＵ（８×８画素）ごとにＪＰＥＧ圧縮が行われる。そしてＪＰＥＧ圧縮された画像情報である圧縮後画像情報ＣＤＡＴが、情報メディア１４に格納される（図１）。なお第１実施形態におけるＪＰＥＧ圧縮動作は、従来のＪＰＥＧ圧縮装置を用いて行うことが可能である。よって従来からＪＰＥＧ圧縮装置が内蔵されている場合には、そのままＪＰＥＧ圧縮装置を流用することができ、回路の再設計を行う負担が軽減される。

以上詳細に説明したとおり、第１実施形態に係る画像処理装置１によれば、色コンポーネント抽出装置１１によって、画像情報から、隣り合う画素情報Ｒ、Ｇｒ、Ｇｂ、Ｂを８×８画素からなる基本画素単位ＢＰＵとして抽出することで、ＪＰＥＧ圧縮装置１３における圧縮動作を可能とすることができる。これにより第１に、非常に時間のかかる処理である色補間処理を行うことなく、基本画素単位を抽出してＪＰＥＧ圧縮の形式に適合させることで、従来のＪＰＥＧ圧縮装置１３を用いてＪＰＥＧ圧縮が可能となるため、計算処理能力の低い各種携帯機器等においても高速なＪＰＥＧ圧縮処理が可能となる。よって画像処理装置１をデジタルスチルカメラ等に適用した場合、連射性能を向上させることが可能となる。またハードウェアで構成した場合に相当量のチップサイズを占める色補間処理部を削減することが可能となり、チップサイズの縮小化を図ることが可能となる。また消費電流の増大を抑えることが可能となる。

また第２に、色コンポーネント抽出装置１１で行われる処理は画素情報Ｒ、Ｇｒ、Ｇｂ、Ｂを基本画素単位ＢＰＵとして抽出するだけであり、画像情報量が増加することがないため、高速なＪＰＥＧ圧縮・復元処理が可能となる。またデータの格納領域を増加させる必要がないため、回路占有面積の増大や消費電流の増大を抑えることができる。

また第３に、画像処理装置１が組み込まれたデジタルスチルカメラ等においては、色補間処理を行わずにＪＰＥＧ圧縮して情報メディア１４に画像情報を書き込んでおき、パソコン等の外部機器において情報メディア１４から画像情報を読み出す際に色補間処理を行うことが可能となる。すなわち色補間処理をＪＰＥＧ圧縮前ではなく、ＪＰＥＧ復元後に行うことができる。よって計算能力の高い外部機器で色補間処理を行えば、計算能力の低いデジタルスチルカメラ等で行うよりも高度な色補間処理が可能となるため、処理の精度を上げ、ユーザの好みに応じた高精度な画像情報を得ることが出来る。特に不可逆な色補間処理を行う場合には、色補間処理がデジタルスチルカメラ等で行われて、画像情報が劣化してしまうことを防止できる。

なお色コンポーネント抽出装置１１における抽出動作は、基本処理単位ごとに行われるとしてもよい。基本処理単位とは、画像情報の水平方向および垂直方向のそれぞれに、各色コンポーネントの画素情報を８の整数倍有するような処理単位である。そして抽出動作後には、各色コンポーネントごとに８×８画素の基本画素単位が得られる。基本処理単位は画素の配列ごとに一義に定まる。例えば画像情報がＲＧＢベイヤ配列を備える場合には、１６×１６画素からなる最小単位（各色コンポーネントごとに８×８画素の基本画素単位を構成することができる最小の単位）の組み合わせにより基本処理単位は構成される。そして基本処理単位は３２×３２画素、１６×３２画素等の様々な組み合わせが可能とされ、画像処理装置１の仕様に応じて適したものが選択される。なお１６×１６画素が、図５に示す１６×８画素の４２２形式のデータを作成するために必要な最小の画素数である。また生成論理（１）乃至（４）も任意の順番で行われてもよいことは言うまでもない。

本発明の第２実施形態を図６を用いて説明する。図６に第２実施形態に係る画像処理装置１ｃを示す。画像処理装置１ｃは、第１実施形態に係る画像処理装置１に加えて、３板化処理装置１２、セレクタ１５を備える。単板式イメージセンサ１０からは画像情報ＧＤＡＴが出力され、色コンポーネント抽出装置１１および３板化処理装置１２に入力される。３板化処理装置１２では、画像情報ＧＤＡＴの色補間による３板化処理が行われ、輝度および色差（ＹＣｂＣｒ）の色空間に変換され、更に４２２形式（ＹＣｂＣｒ４２２形式）に変換された補正基本画素単位ＲＢＰＵが生成される。セレクタ１５には、基本画素単位ＢＰＵ、補正基本画素単位ＲＢＰＵ、およびスイッチ切替信号ＳＷＳが入力される。セレクタ１５の出力は、ＪＰＥＧ圧縮装置１３へ入力される。

セレクタ１５の作用を説明する。セレクタ１５は、色コンポーネント抽出装置１１または３板化処理装置１２の出力の一方を選択して、ＪＰＥＧ圧縮装置１３へ出力できるように構成されている。セレクタ１５に入力されるスイッチ切替信号ＳＷＳが、色コンポーネント抽出装置１１の出力を選択してＪＰＥＧ圧縮装置１３へ入力する旨の信号である場合には、ＪＰＥＧ圧縮装置１３には基本画素単位ＢＰＵが入力され、第１実施形態と同様の処理が行われる。一方、スイッチ切替信号ＳＷＳが、３板化処理装置１２の出力を選択してＪＰＥＧ圧縮装置１３へ入力する旨の信号である場合には、ＪＰＥＧ圧縮装置１３には補正基本画素単位ＲＢＰＵが入力され、従来と同様に色補間３板化処理が行われたデータがＪＰＥＧ圧縮される。

ここで、単板式イメージセンサ１０、３板化処理装置１２、セレクタ１５、ＪＰＥＧ圧縮装置１３、情報メディア１４の経路を選択する場合には、３板化処理装置１２における色補間処理に際し複雑な演算が必要であり、複雑で大規模な演算回路を備える必要がある。しかし汎用のＪＰＥＧビューワで画像表示できるため、汎用的な用途として用いることができる。一方、単板式イメージセンサ１０、色コンポーネント抽出装置１１、セレクタ１５、ＪＰＥＧ圧縮装置１３、情報メディア１４の経路を選択する場合には、ＪＰＥＧデコードと色補間３板化処理とを行った上で画像表示をするような専用のビューワが必要になる。しかし処理速度の向上およびデータ量削減（デジタルスチルカメラ等においては、連射性能の向上および撮影枚数の増加）を図ることができる。

以上詳細に説明したとおり、第２実施形態に係る画像処理装置１ｃによれば、本装置の使用用途に応じて、色コンポーネント抽出装置１１または３板化処理装置１２の何れを経由する経路を使用するかをセレクタ１５で使い分ける事で、柔軟に対応できる。なお経路の選択は用途に応じてユーザによって予め行われてもよいし、ＣＰＵ等によって状況に応じて自動的に行われてもよい。

本発明の第３実施形態を図７を用いて説明する。図７に第３実施形態に係る画像処理装置１ａを示す。画像処理装置１ａは、高精度の画素情報（１０ビット幅、１２ビット幅等）を扱う場合に用いられる装置である。例として、１画素情報が１２ビット幅である場合を説明する。

画像処理装置１ａは、画像処理装置１（図１）のＪＰＥＧ圧縮装置１３に代えて、第１ＪＰＥＧ圧縮装置１３ａおよび第２ＪＰＥＧ圧縮装置１３ｂを備える。また第１ＪＰＥＧ復元装置１６ａ、第２ＪＰＥＧ復元装置１６ｂ、画素情報加算器１９、画像変換部１７、表示デバイス１８を備える。色コンポーネント抽出装置１１からは上位側基本画素単位ＢＰＵ１および下位側基本画素単位ＢＰＵ２が出力され、それぞれ第１ＪＰＥＧ圧縮装置１３ａおよび第２ＪＰＥＧ圧縮装置１３ｂに入力される。第１ＪＰＥＧ圧縮装置１３ａおよび第２ＪＰＥＧ圧縮装置１３ｂからは、第１圧縮後画像情報ＣＤＡＴ１および第２圧縮後画像情報ＣＤＡＴ２が出力され、情報メディア１４に格納される。

情報メディア１４からは第１圧縮後画像情報ＣＤＡＴ１および第２圧縮後画像情報ＣＤＡＴ２が読み出され、それぞれ第１ＪＰＥＧ復元装置１６ａおよび第２ＪＰＥＧ復元装置１６ｂに入力される。第１ＪＰＥＧ復元装置１６ａおよび第２ＪＰＥＧ復元装置１６ｂからは、復元上位側基本画素単位ＤＢＰＵ１および復元下位側基本画素単位ＤＢＰＵ２が出力され、共に画素情報加算器１９に入力される。画素情報加算器１９からは復元基本画素単位ＤＢＰＵが出力され、画像変換部１７に入力される。画像変換部１７の出力は表示デバイス１８に入力される。なお、ＪＰＥＧ圧縮回路は入力情報として８ビット幅のデータしか扱えないため、第１ＪＰＥＧ圧縮装置１３ａ、第２ＪＰＥＧ圧縮装置１３ｂ、第１ＪＰＥＧ復元装置１６ａ、第２ＪＰＥＧ復元装置１６ｂも同様に８ビット幅のデータ仕様である。

ＪＰＥＧ圧縮時の作用を説明する。基本画素単位ＢＰＵは、画素情報（１２ビット幅）が８×８画素分集合して構成される。そして上位側基本画素単位ＢＰＵ１は、各画素情報を構成する１２ビット幅のデータから抽出された上位８ビット幅のデータで構成された画素情報が、８×８画素分集合して構成される。また下位側基本画素単位ＢＰＵ２は、各画素情報を構成する１２ビット幅のデータから抽出された下位４ビット幅のデータの上位側に、４ビット分のデータ”０”が加えられることで８ビット幅にされた画素情報が、８×８画素分集合して構成される。また、１２ビット幅のデータから抽出された下位４ビット幅のデータを上位４ビットに、下位４ビットのデータを”０”として８ビット幅に拡張してもかまわない。

上位側基本画素単位ＢＰＵ１は、第１ＪＰＥＧ圧縮装置１３ａに入力されて圧縮され、第１圧縮後画像情報ＣＤＡＴ１が得られる。下位側基本画素単位ＢＰＵ２は、第２ＪＰＥＧ圧縮装置１３ｂに入力されて圧縮され、第２圧縮後画像情報ＣＤＡＴ２が得られる。第１圧縮後画像情報ＣＤＡＴ１および第２圧縮後画像情報ＣＤＡＴ２は、共に情報メディア１４に格納されることで、圧縮動作は終了する。

ＪＰＥＧ復元時の作用を説明する。第１ＪＰＥＧ復元装置１６ａでは、入力される第１圧縮後画像情報ＣＤＡＴ１の復元動作が行われ、復元上位側基本画素単位ＤＢＰＵ１（各画素情報は８ビット幅）が得られる。第２ＪＰＥＧ復元装置１６ｂでは、入力される第２圧縮後画像情報ＣＤＡＴ２の復元動作が行われ、復元下位側基本画素単位ＤＢＰＵ２（各画素情報は８ビット幅）が得られる。復元上位側基本画素単位ＤＢＰＵ１および復元下位側基本画素単位ＤＢＰＵ２は画素情報加算器１９へ入力される。画素情報加算器１９では、復元下位側基本画素単位ＤＢＰＵ２の各画素情報の上位側４ビット分のデータ”０”が取り除かれた上で、復元上位側基本画素単位ＤＢＰＵ１の対応する各画素情報に加算され、１２ビット幅の画素情報を８×８画素分備える復元基本画素単位ＤＢＰＵに復元する動作が行われる。画素情報加算器１９から出力された復元基本画素単位ＤＢＰＵは、画像変換部１７で表示デバイス１８の画素数に適合するように変換された上で表示デバイス１８へ入力され、表示デバイス１８には画像が表示される。なお画像変換部１７の動作については、第４実施形態で後述する。

以上詳細に説明したとおり、第３実施形態に係る画像処理装置１ａによれば、各画素情報をビット方向に８ビットごとに分割し、分割した画素情報で構成される基本画素単位ごとにＪＰＥＧ圧縮を行うことが可能となる。よって８ビット幅以上のビット数を有する高精度の画素情報（１０ビット、１２ビット等）からなる画像情報であっても、第１実施形態で説明した手法である、基本画素単位ごとに抽出してＪＰＥＧ圧縮する動作を行うことが可能となる。

なお、デジタルスチルカメラ等の低解像度の表示デバイスへは、全１２ビット幅の画素情報のうちの上位８ビット幅分の情報があれば、十分に実用に耐える画像表示を行うことが可能であり、通常は８ビット幅でさえ不要な場合も多い。よって図７の点線矢印に示すように、復元基本画素単位ＤＢＰＵに代えて、復元上位側基本画素単位ＤＢＰＵ１が画像変換部１７に入力される態様をとれば、第２ＪＰＥＧ復元装置１６ｂや画素情報加算器１９が不要となり、回路規模縮小化、処理速度高速化が可能となる。

また、画素情報の分割方法として、上位４ビット幅と下位８ビット幅で分割する方式も考えられる。しかしながら、復元上位側基本画素単位ＤＢＰＵ１を画像変換部１７へ入力する場合（図７の点線矢印）を考えると、本実施形態で説明した上位８ビット幅、下位４ビット幅という抽出方式が好ましい。

本発明の第４実施形態を図８乃至図１１を用いて説明する。図８に第４実施形態に係る画像処理装置１ｂを示す。画像処理装置１ｂは、単板式イメージセンサ１０が出力する画素情報（色補間３板化未処理）を直接扱える液晶表示装置等の表示デバイス１８を備えた、実際のデジタルカメラ等のシーケンスを想定した装置の一例である。また画像処理装置１ｂは、表示デバイス１８の画素数に応じて、単板式イメージセンサ１０から出力される画素数を調整する画像変換部１７を有する。

画像処理装置１ｂは、第１実施形態の画像処理装置１に比して、ＪＰＥＧ復元装置１６、画像変換部１７、表示デバイス１８を備える構成である。情報メディア１４から出力された圧縮後画像情報ＣＤＡＴはＪＰＥＧ復元装置１６に入力され、復元基本画素単位ＤＢＰＵが得られる。復元基本画素単位ＤＢＰＵは画像変換部１７へ入力され、表示デバイス１８の画素数に応じたサイズ変換画像情報ＶＤＡＴが得られる。サイズ変換画像情報ＶＤＡＴは表示デバイス１８へ入力され、表示デバイス１８では画像が表示される。

画像変換部１７のブロック図を図９に示す。画像変換部１７は、ＲＡＭ部３０、水平アドレス算出部３１、垂直アドレス算出部３２、加算器３３、除算器３４、色コンポーネントセレクタ３５、３カウンタ３６を備える。水平アドレス算出部３１は、水平アドレス加算器３７、水平アドレス第１フリップフロップ３８、水平アドレス整数丸め部３９、水平アドレス第２フリップフロップ４０を備える。垂直アドレス算出部３２は、垂直アドレス加算器４７、垂直アドレス第１フリップフロップ４８、垂直アドレス整数丸め部４９、垂直アドレス第２フリップフロップ５０を備える。

例として画像変換部１７で、入力画像(水平方向２６００×垂直方向２０００画素、約５００万画素)を、表示デバイス１８の解像度（水平方向３２０×垂直方向２４０画素、約８万画素）に適合するように変換する場合の動作を説明する。ＪＰＥＧ復元装置１６から出力された復元基本画素単位ＤＢＰＵは、画像変換部１７のＲＡＭ部３０に格納される。このとき復元基本画素単位ＤＢＰＵを構成する各画素情報のアドレスは、第１実施形態のアドレスエンコーダ２３と逆の動作が行われることにより、図１０に示すＲＧＢベイヤ配列のアドレスを有してＲＡＭ部３０に格納される。なお、アドレス変換動作についての詳細な説明はここでは省略する。

図１０に示すＲＧＢベイヤ配列において、画素情報Ｒ、Ｇｒ、Ｇｂ、Ｂの４画素情報ごとに１つの単位画素情報と定義すると、水平方向および垂直方向に半分の画素数を有する単位画素情報数の配列（水平方向１３００×垂直方向１０００画素）として考えることができる。ここで、図１０に示すＲＧＢベイヤ配列において、単位画素情報の配列としてアドレスを割り当てると、水平アドレスＨａｄｒｓ（０〜１２９９）、垂直アドレスＶａｄｒｓ（０〜９９９）が定義される。

また水平方向ピッチＨＰ、垂直方向ピッチＶＰが以下の式により計算される。水平方向ピッチＨＰは、表示デバイス１８の水平方向画素数に対する水平アドレスＨａｄｒｓ数の割合であり、垂直方向ピッチＶＰは、表示デバイス１８の垂直方向画素数に対する垂直アドレスＶａｄｒｓ数の割合である。
水平方向ピッチＨＰ：２６００÷２÷３２０＝４．０６２５
垂直方向ピッチＶＰ：２６００÷２÷２４０＝４．１６６６・・・≒４．１６６７
水平方向ピッチＨＰ、垂直方向ピッチＶＰはそれぞれ水平アドレス加算器３７、垂直アドレス加算器４７に入力される。また水平アドレス第１フリップフロップ３８、垂直アドレス第１フリップフロップ４８は初期値０とされる。

画像変換動作が開始されると、水平アドレス加算器３７では、データクロックＤＣＬＫの３クロックごとに、水平方向ピッチＨＰが水平アドレス第１フリップフロップ３８の出力値に加算される。３２０回動作を行ったところで、水平アドレス第１フリップフロップ３８の出力値は０へリセットされる。水平アドレス第１フリップフロップ３８の出力値は、水平アドレス整数丸め部３９で小数点を丸め整数化され、水平アドレス第２フリップフロップ４０へ入力される。水平アドレス第２フリップフロップ４０の出力値は、水平アドレスＨａｄｒｓとしてＲＡＭ部３０に入力される。

垂直アドレス加算器４７では、水平アドレス算出部３１を３２０回動作させるごとに、垂直方向ピッチＶＰが垂直アドレス第１フリップフロップ４８の出力値に加算される。垂直アドレス第１フリップフロップ４８の出力値は、垂直アドレス整数丸め部４９で小数点を丸め整数化され、垂直アドレス第２フリップフロップ５０へ入力される。垂直アドレス第２フリップフロップ５０の出力値は、垂直アドレスＶａｄｒｓとしてＲＡＭ部３０に入力される。これにより、データクロックＤＣＬＫの３クロックごとに得られる変換アドレス(Ｈａｄｒｓ、Ｖａｄｒｓ)に対応した４画素情報からなる単位画素情報がＲＡＭ部３０から取得される。この手法は、計算で求めた小数付きアドレスに最も近い画素を選択するので、最近傍縮小といわれる。

ＲＡＭ部３０からは、１つの単位画素情報の各色コンポーネントに応じた画素情報Ｒ、Ｇｒ、Ｇｂ、Ｂが出力される。画素情報Ｒ、Ｂは色コンポーネントセレクタ３５へ入力される。画素情報Ｇｒ、Ｇｂは加算器３３へ入力され互いに加算された上で除算器３４へ入力される。除算器３４では入力データが１／２にされるため、画素情報ＧｒとＧｂとの平均値である画素情報ＧＡＤが得られる。画素情報ＧＡＤは色コンポーネントセレクタ３５へ入力される。よってこの処理で画素情報Ｒ、Ｇｒ、Ｇｂ、Ｂの４画素分の情報から、画素情報Ｒ、ＧＡＤ、Ｂの３画素分の情報へ変換される。

３カウンタ３６では、データクロックＤＣＬＫごとに０〜２がカウントされる。３カウンタ３６からは、カウントされた値に応じてＲＧＢ識別信号ＩＳが出力される。ＲＧＢ識別信号ＩＳは、色コンポーネントセレクタ３５に入力される。ＲＧＢ識別信号ＩＳは、色コンポーネントセレクタ３５に入力される画素情報Ｒ、ＧＡＤ、Ｂからどの画素情報を選択するかを識別する信号である。色コンポーネントセレクタ３５は、ＲＧＢ識別信号ＩＳに応じて、画素情報Ｒ、ＧＡＤ、Ｂの３画素分の情報をサイズ変換画像情報ＶＤＡＴとして、データクロックＤＣＬＫに同期して順次出力する（図１１）。表示デバイス１８ではサイズ変換画像情報ＶＤＡＴに応じた画像が表示される。

以上詳細に説明したとおり、第４実施形態に係る画像処理装置１ｂによれば、画像変換部によって、ＪＰＥＧアルゴリズムにより復元された画像情報から表示デバイスに応じて所定の画素情報を選択し間引き処理を行うことで、サイズ変換画像情報を生成することができる。そして当該サイズ変換画像情報を用いて、表示デバイスに画像を表示することが可能となる。なお表示デバイスの画素数は、単板式イメージセンサから出力される画素数に比して極端に少ない場合が多いため、当該間引き処理による画像変換方式によっても、表示デバイス１８に表示される画質には実使用上の支障はない。ただし、一般に縮小処理を行う前に縮小前の高域成分をローパスフィルタ等を用いて除去しておかないと、折り返し歪が発生し、モアレ発生の原因になるので、ＲＡＭ部３０の後段にローパスフィルタ（前置フィルタ）を置いた方が望ましい。本実施例では、水平・垂直共に約１／４に縮小するので、帯域を１／４に制限する必要がある。

なお表示デバイス１８が、単板式イメージセンサ１０が出力する画素情報（色補間３板化未処理）が直接扱えない構造のデバイスである場合には、画像変換部１７における画素数変換処理に加えて、色補間・色変換処理が必要である。この場合、画像処理装置１ｂにおいて、画像変換部１７と表示デバイス１８との間に色補間・色変換処理を行う回路を配置し、画像変換部１７から出力されるサイズ変換画像情報ＶＤＡＴに対して色変換処理を行えばよい。なお、表示デバイス１８の画素数が少ない場合には、複雑な演算を要する色補間処理を省略し、色補間処理に比して簡易なマトリクス演算である色変換処理のみを行う構成としても、画質には実用上の問題は発生しない。この場合には、画像変換部１７と表示デバイス１８との間に配置する回路量は非常に小さくなり、画像処理装置１ｂの回路規模増大を防止することが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。例えば第４実施形態において、画像変換部１７は、周辺画素を参照して、重み付け平均を行うバイリニアといわれる手法を用いると、より良い鮮明な画像が表示デバイス１８に表示されることは言うまでもない。また画像変換部１７において画素数変換処理を行う前に、高周波成分を取り除くローパスフィルタ（ＬＰＦ）処理を施すと、折り返しノイズの無い画像が表示デバイス１８に表示されるためより好ましい。

ここで、本発明の技術思想により、背景技術における課題を解決するための手段を以下に列記する。
（付記１） 単板式イメージセンサにより取得される画像情報の画像処理装置において、
前記画像情報の色コンポーネントごとに隣り合う画素情報を、８×８画素からなる基本画素単位として抽出する抽出部を備え、
前記基本画素単位ごとにＪＰＥＧアルゴリズムにより処理が行われることを特徴とする画像処理装置。
（付記２） 前記画像情報の水平方向および垂直方向のそれぞれに、前記各色コンポーネントの前記画素情報を８の整数倍有する基本処理単位を備え、
前記抽出部は、前記基本処理単位ごとに前記基本画素単位を抽出することを特徴とする付記１に記載の画像処理装置。
（付記３） 前記基本処理単位は、前記画像情報がＲＧＢベイヤ配列を備える場合には、１６×１６画素からなる最小単位の組み合わせにより構成されることを特徴とする付記２に記載の画像処理装置。
（付記４） 前記ＪＰＥＧアルゴリズムにより復元された画像情報の画素数と表示デバイスの画素数との比率に応じて、前記復元された画像情報の前記画素情報を所定ピッチで選択して、サイズ変換画像情報を生成する画像変換部を備えることを特徴とする付記１に記載の画像処理装置。
（付記５） 前記画素情報が９ビット幅以上で構成される場合に、前記ＪＰＥＧアルゴリズムにより圧縮が行われるにあたり、
前記画素情報の上位８ビットを圧縮する第１圧縮部と、
前記画素情報の上位８ビットを除いた下位ビットを圧縮する第２圧縮部と
を備えることを特徴とする付記１に記載の画像処理装置。
（付記６） 前記第２圧縮部は、
前記画素情報の上位８ビットを除いた下位ビットの上位側もしくは下位側に０を詰めて８ビット長にされたデータを圧縮することを特徴とする付記５に記載の画像処理装置。
（付記７） 単板式イメージセンサにより取得される画像情報の画像処理方法において、
前記画像情報の色コンポーネントごとに隣り合う画素情報を、８×８画素からなる基本画素単位として抽出するステップを備え、
前記基本画素単位ごとにＪＰＥＧアルゴリズムにより処理が行われることを特徴とする画像処理方法。
（付記８） 単板式イメージセンサにより取得される画像情報の画像処理プログラムにおいて、
前記画像情報の色コンポーネントごとに隣り合う画素情報を、８×８画素からなる基本画素単位として抽出するステップを備え、
前記基本画素単位ごとにＪＰＥＧアルゴリズムにより処理が行われることを特徴とする画像処理プログラム。

第１実施形態に係る画像処理装置１を示す図である。 色コンポーネント抽出装置１１の回路図を示す図である。 ＲＧＢベイヤ配列（１６×１６画素）を示す図である。 ＢＡＹＲＡＭ部２０のアドレスを示す図である。 １６×８画素の４２２形式のデータを示す図である。 第２実施形態に係る画像処理装置１ｃを示す図である。 第３実施形態に係る画像処理装置１ａを示す図である。 第４実施形態に係る画像処理装置１ｂを示す図である。 画像変換部１７のブロック図を示す図である。 ＲＧＢベイヤ配列（その２）を示す図である。 画像処理装置１ｂのタイミングチャートを示す図である。 従来の一般的な撮像装置における回路ブロックの構成例を示す図である。 従来の画像情報変換の様子を示す図である。

符号の説明

１、１ａ、１ｂ、１ｃ 画像処理装置
１０ 単板式イメージセンサ
１１ 色コンポーネント抽出装置
１２ ３板化処理装置
１３ ＪＰＥＧ圧縮装置
１３ａ 第１ＪＰＥＧ圧縮装置
１３ｂ 第２ＪＰＥＧ圧縮装置
１６ ＪＰＥＧ復元装置
１６ａ 第１ＪＰＥＧ復元装置
１６ｂ 第２ＪＰＥＧ復元装置
１７ 画像変換部
１８ 表示デバイス
２０ ＢＡＹＲＡＭ部
２３ アドレスエンコーダ
３０ ＲＡＭ部
ＢＰＵ 基本画素単位
ＢＰＵ１ 上位側基本画素単位
ＢＰＵ２ 下位側基本画素単位
Ｒ、Ｇｒ、Ｇｂ、Ｂ 画素情報

Claims (5)

1. 単板式イメージセンサにより取得される画像情報の画像処理装置において、
   前記画像情報の色コンポーネントごとに隣り合う画素情報を、８×８画素からなる基本画素単位として抽出する抽出部を備え、
   前記基本画素単位ごとにＪＰＥＧアルゴリズムにより処理が行われることを特徴とする画像処理装置。
2. 前記画像情報の水平方向および垂直方向のそれぞれに、前記各色コンポーネントの前記画素情報を８の整数倍有する基本処理単位を備え、
   前記抽出部は、前記基本処理単位ごとに前記基本画素単位を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記ＪＰＥＧアルゴリズムにより復元された画像情報の画素数と表示デバイスの画素数との比率に応じて、前記復元された画像情報の前記画素情報を所定ピッチで選択して、サイズ変換画像情報を生成する画像変換部を備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記画素情報が９ビット幅以上で構成される場合に、前記ＪＰＥＧアルゴリズムにより圧縮が行われるにあたり、
   前記画素情報の上位８ビットを圧縮する第１圧縮部と、
   前記画素情報の上位８ビットを除いた下位ビットを圧縮する第２圧縮部と
   を備えることを特徴とする請求項１に記載の画像処理装置。
5. 単板式イメージセンサにより取得される画像情報の画像処理方法において、
   前記画像情報の色コンポーネントごとに隣り合う画素情報を、８×８画素からなる基本画素単位として抽出するステップを備え、
   前記基本画素単位ごとにＪＰＥＧアルゴリズムにより処理が行われることを特徴とする画像処理方法。

Images