JP2002204461A - 撮像装置及び撮像方法 - Google Patents

Abstract

(57)【要約】 【課題】カメラの信号処理において、フレキシビリティ
が高く、高速処理が可能な撮像装置及び撮像方法を提供
すること。 【解決手段】信号処理回路112 は、撮像素子101 で撮像
した信号をＡ／Ｄ変換した或る画素データにおいて、演
算回路106 を用いてその周辺の画素との演算を行い、そ
のＲＧＢあるいはＹＵＶデータを一度に算出する。前記
演算の係数は、撮像素子101 に配列された各々の画素情
報に基づき、予め算出したものでもよいし、或いは、外
部からの情報に基づき、撮像素子101 に配列された各々
の画素に対して算出したものでもよい。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラに
必要な信号処理を演算する撮像装置及び撮像方法に関す
る。

【０００２】

【従来の技術】近年のデジタルカメラや工業用監視カメ
ラ等において、固体撮像素子からの信号を、パソコン用
やＴＶ用に信号処理するための手段として、デジタル素
子によるハードウェアＬＳＩによる処理、ＤＳＰ（デジ
タル信号処理、Digital SignalProcessorの略）ＬＳＩ
による処理、あるいはパソコン上のソフトウェア処理が
多用されている。

【０００３】ハードウェア処理は、処理速度が速く最適
化可能であるが、動作に問題があった場合などにはＬＳ
Ｉの修正ができないため、製作し直さなければならなか
った。

【０００４】パソコン上のソフトウェア処理は、容易に
処理内容の変更が可能である（つまりフレキシビリティ
がある）が、カメラの信号処理に用いるには処理速度が
遅く、処理時間がかかり実用的でなかった。

【０００５】一方、ＤＳＰ処理は、処理時間とフレキシ
ビリテイの面で、前記ハードウェア処理と前記パソコン
上のソフトウェア処理との中間のメリットを有してい
る。

【０００６】図９は、ＤＳＰ処理を用いたデジタルカメ
ラの回路ブロック図である。ＣＣＤ等の撮像素子101 か
ら出力された信号は、Ａ／Ｄ変換器102 によりデジタル
信号に変換され、フレームメモリ121 に記録される。
ＤＳＰ122 は１個以上の積和演算器を持ち、入力信号同
士、入力信号と係数との演算を行い、それを所定回数繰
り返して結果を出力するものである。フレームメモリ12
1 から読み出された撮像素子101 の生データ（但しＡ／
Ｄ変換出力）はこのＤＳＰ122 により所定のデータに変
換され、再びフレームメモリ121 に書き込まれる。これ
を何回か繰り返して、最終のＲＧＢ信号または輝度・色
差信号（以下、ＹＵＶ信号という）に変換する。

【０００７】この処理を実現するプログラムは、ＤＳＰ
122 が積和演算器の数や回路構成によって多種多様であ
るため、ＤＳＰ ＬＳＩメーカ専用のプログラム言語に
依存して開発されている場合がほとんどであり、他メー
カのＤＳＰには使えなかった。また、Ｃ言語などの高級
言語用のコンパイラもあるものもあるが、パフォーマン
スの向上に期待できず、ハードウェアに比べると処理時
間の点で劣り、当然リアルタイム処理が可能でない、等
の問題があった。

【０００８】カメラの出力信号をデジタル的に処理する
装置又は方法の従来技術として、特開平９−３２７０２
６号公報及び特開平１１−２５２５７６号公報がある。

【０００９】特開平９−３２７０２６号公報には、撮影
される像を所定の表示装置に表示させる画像処理装置に
おいて、表示される像中の必要とする領域に対してだけ
必要な処理を行うようにすることで、装置全体に係る負
担を軽減させ、高速に処理することが述べられている。

【００１０】また、特開平１１−２５２５７６号公報に
は、ＲＧＢ三原色の色フィルタを固体撮像素子の撮像面
に配置して一個の固体撮像素子で撮像を行う単板式のビ
デオカメラ等において、マトリクス状に配列された画素
の各々の色情報で構成されたカラー入力画像データの処
理方法が述べられている。

【００１１】しかしながら、上記２つの公報に記載のも
のは、カメラの信号処理において、カメラに必要な各種
の信号処理に対応できるものではなく、また回路動作に
問題があった場合などに処理動作を変更するときの容易
さ（フレキシビリティ）についは何ら述べられていな
い。

【００１２】

【発明が解決しようとする課題】上記の如く、ハードウ
ェア処理は、フレキシビリティに欠け、変更に時間と費
用を要する。また、パソコン上のソフトウェア処理は、
カメラの信号処理には時間がかかり実用的ではない。そ
れらをカバーするため、ＤＳＰ処理を使用すると、上記
のように専用言語による開発のため、そのソフトウェア
開発に時間を要し、かつハードウェア処理に比べると処
理時間の点で劣りリアルタイム処理ができない等、の問
題がある。

【００１３】そこで、本発明は上記の問題に鑑み、カメ
ラの信号処理において、フレキシビリティが高く、高速
処理が可能な撮像装置及び撮像方法を提供することを目
的とするものである。

【００１４】

【課題を解決するための手段】請求項１の発明による撮
像装置は、被写体を撮像する撮像素子と、該撮像素子の
出力信号をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ
変換された撮像素子の任意の画素データにおいて、その
周辺の画素との演算にて、所定のデータを一度に算出す
る信号処理回路と、を具備したことを特徴とする。

【００１５】請求項２の発明は、請求項１記載の撮像装
置において、前記信号処理回路は、前記撮像素子の水平
画素数と同一の画素数を有する１Ｈメモリをｍ（ｍは１
以上の整数）個有してなり、前記Ａ／Ｄ変換された撮像
素子の画素データを取り込む１Ｈ×ｍメモリと、前記１
Ｈ×ｍメモリからのｍラインの信号を入力し、該ｍライ
ンの信号に対して垂直方向の画素間で演算し、さらに水
平ｎ画素間で畳み込み演算し、ｎ×ｍの画素間の演算結
果として所定のデータを出力する演算回路と、色フィル
タ配列の各色画素データに対し該所定出力データ当り
（ｎ＋ｍ）個の演算係数を有し、ｎ×ｍの各色画素に対
応して切り換えて前記演算回路に供給する演算係数ユニ
ットと、を具備したことを特徴とする。

【００１６】請求項３の発明は、請求項１記載の撮像装
置において、前記信号処理回路は、前記撮像素子の水平
画素数と同一の画素数を有する１Ｈメモリをｍ（ｍは１
以上の整数）個有してなり、前記Ａ／Ｄ変換された撮像
素子の画素データを取り込む１Ｈ×ｍメモリと、前記１
Ｈ×ｍメモリからのｍラインの信号を入力し、該ｍライ
ンの信号に対して垂直方向の画素間で演算し、さらに水
平ｎ画素間で畳み込み演算し、ｎ×ｍの画素間の演算結
果として所定のデータを出力する演算回路と、外部から
のゲイン，輪郭補正量，フィルタ特性などのデータに基
づき、色フィルタ配列の各色画素データに対し該所定出
力データ当り（ｎ＋ｍ）個の演算係数を算出し、ｎ×ｍ
の各色画素に対応して切り換えて前記演算回路に供給す
る演算係数算出ユニットと、を具備したことを特徴とす
る。

【００１７】請求項４の発明による撮像装置は、被写体
を撮像する撮像素子と、該撮像素子の出力信号をＡ／Ｄ
変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換された映像デ
ータを一時記憶するフレームメモリと、前記フレームメ
モリから読み出された撮像素子の任意の画素データにお
いて、その周辺の画素との演算にて、所定のデータを一
度に算出する信号処理回路と、を具備したことを特徴と
する。

【００１８】請求項５の発明は、請求項４記載の撮像装
置において、前記信号処理回路は、前記撮像素子の水平
画素数より少ないｎ画素を有するｎ画素メモリをｍ（ｍ
は１以上の整数）個有してなり、前記フレームメモリか
ら読み出された撮像素子の画素データを取り込むｎ×ｍ
メモリと、前記ｎ×ｍメモリからのｍラインの信号を入
力し、該ｍラインの信号に対して垂直方向の画素間で演
算し、さらに水平ｎ画素間で畳み込み演算し、ｎ×ｍの
画素間の演算結果として所定のデータを出力する演算回
路と、色フィルタ配列の各色画素データに対し該所定出
力データ当り（ｎ＋ｍ）個の演算係数を有し、ｎ×ｍの
各色画素に対応して切り換えて前記演算回路に供給する
演算係数ユニットと、を具備したことを特徴とする。

【００１９】請求項６の発明は、請求項４記載の撮像装
置において、前記信号処理回路は、前記撮像素子の水平
画素数より少ないｎ画素を有するｎ画素メモリをｍ（ｍ
は１以上の整数）個有してなり、前記フレームメモリか
ら読み出された撮像素子の画素データを取り込むｎ×ｍ
メモリと、前記ｎ×ｍメモリからのｍラインの信号を入
力し、該ｍラインの信号に対して垂直方向の画素間で演
算し、さらに水平ｎ画素間で畳み込み演算し、ｎ×ｍの
画素間の演算結果として所定のデータを出力する演算回
路と、外部からのゲイン，輪郭補正量，フィルタ特性な
どのデータに基づき、色フィルタ配列の各色画素データ
に対し該所定出力データ当り（ｎ＋ｍ）個の演算係数を
算出し、ｎ×ｍの各色画素に対応して切り換えて前記演
算回路に供給する演算係数算出ユニットと、を具備した
ことを特徴とする。

【００２０】請求項７の発明は、請求項１又は４記載の
撮像装置において、前記所定のデータは、ＲＧＢあるい
はＹＵＶデータであることを特徴とする。

【００２１】請求項８の発明は、請求項１〜７のいずれ
か１つに記載の撮像装置において、前記演算回路は、ｎ
×ｍ×３の画素間の演算結果としてＲＧＢあるいはＹＵ
Ｖデータを出力し、前記演算係数ユニットは、色フィル
タ配列の各色画素データに対しＲＧＢあるいはＹＵＶ出
力データ当り（ｎ＋ｍ）×３個の演算係数を保有あるい
は算出することを特徴とする。

【００２２】請求項９の発明による撮像方法は、被写体
を撮像素子にて撮像する撮像ステップと、前記撮像素子
の出力信号をＡ／Ｄ変換するＡ／Ｄ変換ステップと、前
記Ａ／Ｄ変換された撮像素子の任意の画素データにおい
て、その周辺の画素との演算にて、所定のデータを一度
に算出する信号処理ステップと、を備えたことを特徴と
する。

【００２３】請求項１０の発明による撮像方法は、被写
体を撮像素子にて撮像する撮像ステップと、前記撮像素
子の出力信号をＡ／Ｄ変換するＡ／Ｄ変換ステップと、
前記Ａ／Ｄ変換された映像データをフレームメモリに一
時記憶する記憶ステップと、前記フレームメモリから読
み出された撮像素子の任意の画素データにおいて、その
周辺の画素との演算にて、所定のデータを一度に算出す
る信号処理ステップと、を備えたことを特徴とする。

【００２４】請求項１１の発明は、請求項９又は１０記
載の撮像方法において、前記演算の係数は、撮像素子に
配列された各々の画素情報に基づき、予め算出したもの
であることを特徴とする。

【００２５】請求項１２の発明は、請求項９又は１０記
載の撮像方法において、前記演算の係数は、外部からの
情報に基づき、撮像素子に配列された各々の画素に対し
て算出したものであることを特徴とする。

【００２６】請求項１３の発明は、請求項９〜１２のい
ずれか１つに記載の撮像方法において、前記所定のデー
タは、ＲＧＢあるいはＹＵＶデータであることを特徴と
する。

【００２７】

【発明の実施の形態】発明の実施の形態について図面を
参照して説明する。図１は本発明の第１の実施の形態の
撮像装置を示すブロック図である。図１は、Ｒ，Ｇ，Ｂ
（または輝度・色差信号Ｖ，Ｙ，Ｕ）の３つの信号を出
力する場合の実施の形態を示している。

【００２８】図１において、撮像装置100 は、受光面に
色フィルタが配列された撮像素子101 と、Ａ／Ｄ変換器
102 と、白バランス回路103 と、ガンマ補正回路104
と、１Ｈ×ｍメモリ105 と演算回路106 と演算係数ユニ
ット107 と同期回路108 と係数選択スイッチ109 とで構
成される信号処理回路112 と、リミッタ110a〜110cと、
３原色信号Ｒ，Ｇ，Ｂ（または輝度・色差信号Ｖ，Ｙ，
Ｕ）の出力端子111a〜111cと、を有している。

【００２９】信号処理回路112 は、Ａ／Ｄ変換された撮
像素子101 の任意の画素データにおいて、その周辺の画
素との演算にて、そのＲＧＢあるいはＹＵＶデータを一
度に算出する回路である。或いは、信号処理回路112
は、Ａ／Ｄ変換された撮像素子101 の任意の画素データ
において、その周辺の画素との演算にて、所定のデータ
例えばＲ，Ｇ，Ｂのいずれかの単色データあるいは輝度
（Ｙ）データを一度に算出することも可能である。この
ときの演算の係数としては、撮像素子101 に配列された
各々の画素情報に基づき、予め算出したものを用いてい
る。

【００３０】出力端子111a〜111cからの信号処理データ
はＪＰＥＧ処理などのデータ圧縮処理部（図示せず）を
経て図示しない表示パネルに表示されたり図示しない記
録媒体などに記録することが可能である。

【００３１】撮像素子101 は、受光面に色フィルタが配
列されたカラー用のＣＣＤで構成される。すなわち、図
２に示したような原色モザイク配列（Ｒ，Ｇ1 ，Ｇ2 ，
Ｂ）の画素を持つＣＣＤで構成される。４画素のうち２
画素がＧ画素となっているのは、解像度を向上させるた
めのもので、Ｇ信号は輝度に対して寄与度が大きいため
である。撮像素子101 では、図示しない撮像レンズを通
して受光した被写体像を電気信号に変換する。

【００３２】Ａ／Ｄ変換器102 ではＣＣＤ出力信号をＡ
／Ｄ変換する。Ａ／Ｄ変換後のＣＣＤ出力デジタル信号
は、白バランス回路103 で白バランス補正が、ガンマ補
正回路104 で非線形処理であるガンマ補正がなされる。

【００３３】１Ｈ×ｍメモリ105 は、カスケードに接続
したｍ（ｍは１以上の整数）個のＣＣＤ水平画素分の１
Ｈメモリで構成されている。１ＨメモリはＣＣＤの水平
方向の画素数分の容量を有している。例えばＣＣＤの画
素数が３００万画素（水平2048×垂直1536）であるとす
ると、１Ｈメモリは２０４８画素数分の容量を有してい
る。ｍは処理の精度によって決められ、例えば、最小で
２、通常は３、より解像度を高めたいときは５に設定さ
れる。１Ｈ×ｍメモリ105 を構成する各々の１Ｈメモリ
の出力は、ｍラインの同時化された信号となり、演算回
路106 に入力される。

【００３４】演算回路106 は線形の演算処理を行うもの
で、例えば図３に示すように構成されている。図３で
は、１Ｈ×ｍメモリ105 からのｍラインの信号に対して
積和演算部（301，302，303）で垂直方向の画素間で演
算して、所定のデータに対応した各１ラインの信号(30
4，305，306)を得、これらの１ラインの信号はさらに一
旦ｎ画素メモリ（307，308，309）に取り込まれ、積和
演算部（310，311，312）において水平ｎ画素間で畳み
込み演算し出力される。演算回路106 からは２次元ｎ×
ｍ×３の画素間の演算結果として所定のデータ（例えば
ＲＧＢあるいはＹＵＶデータ）が出力される。なお、こ
のときの演算回路106 における演算係数kvr1〜kvrm，kv
g1〜kvgm，kvb1〜kvbm，khr1〜khrn，khg1〜khgn，khb1
〜khbnは演算係数ユニット107 から供給される。

【００３５】或いは、演算回路106 は、１Ｈ×ｍメモリ
105 からのｍラインの信号を入力し、該ｍラインの信号
に対して垂直方向の画素間で演算し、さらに水平ｎ画素
間で畳み込み演算し、ｎ×ｍの画素間の演算結果として
Ｒ，Ｇ，Ｂいずれかの単色信号（或いは輝度（Ｙ）信
号）を出力することが可能である。

【００３６】演算回路106 からの処理データは、不図示
のフレームメモリに記録され、ＪＰＥＧ処理などのデー
タ圧縮用として用いられたりする。

【００３７】演算係数ユニット107 は、演算回路106 で
所定のデータ（例えばＲＧＢ或いはＹＵＶデータ）を得
るときは、その演算係数を予め、図２のＲ，Ｇ1 ，Ｇ2
，Ｂの４つの画素の各々の画素に対して（ｎ＋ｍ）×
３個持ち、それをＲ，Ｇ1 ，Ｇ2 ，Ｂ各画素によって選
択し、出力端子ａ〜ｄにＲ，Ｇ1 ，Ｇ2 ，Ｂの各画素用
演算係数として出力する。或いは、演算係数ユニット10
7 は、演算回路106 で所定のデータ（例えば単色デー
タ）を得るときは、その演算係数を予め、図２のＲ，Ｇ
1 ，Ｇ2 ，Ｂ各々の画素に対して（ｎ＋ｍ）個持ち、そ
れをＲ，Ｇ1 ，Ｇ2，Ｂ各画素によって選択し、出力端
子ａ〜ｄにＲ，Ｇ1 ，Ｇ2 ，Ｂの各画素用演算係数とし
て出力する。つまり、演算係数ユニット107 は、Ｒ，Ｇ
1 ，Ｇ2 ，Ｂの４つの画素の各々の画素に対して予め算
出した（ｎ＋ｍ）×３個、或いは（ｎ＋ｍ）個の演算係
数を格納して保有するものである。従って、演算係数ユ
ニット107 は、外部からの制御でユーザーが容易に変更
できるようには構成する必要はないので、マイコン（Ｃ
ＰＵ）を内蔵しない簡易形の構成でよい。

【００３８】係数選択スイッチ109 は、演算係数ユニッ
ト107 の出力端子ａ〜ｄを選択的に切り換えるための切
換手段である。

【００３９】同期回路108 は、係数選択スイッチ109 を
切換制御するもので、ｎ×ｍの中心画素Ｒ，Ｇ1 ，Ｇ2
，Ｂに対応してこれを切り換える。

【００４０】上述したように、演算回路106 でＲＧＢ
（或いはＹＵＶ）データを得る場合は、上記ｎ×ｍの画
素間の演算回路を３個、（ｎ＋ｍ）の係数もＲ，Ｇ1 ，
Ｇ2 ，Ｂの各画素に対してＲＧＢ（或いはＹＵＶ）分３
個持てば、中心画素に対してＲＧＢ（或いはＹＵＶ）信
号を一度に得ることができる。

【００４１】リミッタ回路110a〜110cは、線形演算回路
106 の結果のビットシフトやオーバーフロー対策、アン
ダーフロー対策を実現するためのものである。

【００４２】上述のように、各画素の出力色に応じて
（ｎ＋ｍ）個、或いは（ｎ＋ｍ）×３個の係数を変えて
設定するだけで、任意の処理結果を得ることができる。

【００４３】図４は本発明の第２の実施の形態の撮像装
置を示すブロック図である。図４に示す撮像装置100A
は、図１における演算係数ユニット107 の代りに、外部
からの情報に基づき内蔵マイコン（ＣＰＵ）でＲ，Ｇ1
，Ｇ2 ，Ｂの各画素用の各演算係数を算出することが
可能な演算係数ユニット401 を備えたものである。

【００４４】１Ｈ×ｍメモリ105 と演算回路106 と演算
係数ユニット401 と同期回路108 と係数選択スイッチ10
9 とで構成される信号処理回路112Aは、Ａ／Ｄ変換され
た撮像素子101 の任意の画素データにおいて、その周辺
の画素との演算にて、そのＲＧＢあるいはＹＵＶデータ
を一度に算出する回路である。なお、信号処理回路112A
は、Ａ／Ｄ変換された撮像素子101 の任意の画素データ
において、その周辺の画素との演算にて、所定のデータ
例えばＲ，Ｇ，Ｂのいずれかの単色データあるいは輝度
（Ｙ）データを一度に算出することも可能である。この
ときの演算の係数は、外部からの情報に基づいてマイコ
ン（ＣＰＵ）により、撮像素子101 に配列された各々の
画素に対して算出したものであり、外部情報に応じて可
変できるものである。その他の構成は図１と同様であ
り、図１と同じ回路は同一の符号で示している。

【００４５】即ち、カメラの信号処理をダイナミックに
変えたい時に、演算回路106 で所定のデータとして例え
ばＲＧＢ或いはＹＵＶデータを出力するときは、外部か
ら輪郭補正量、輪郭補正のブースト点、ゲイン量、ＬＰ
Ｆなどのフィルタ特性等の情報を与えると、演算係数算
出ユニット401 がそれに応じた、Ｒ，Ｇ1 ，Ｇ2 ，Ｂの
画素に対応して（ｎ＋ｍ）×４×３ の係数を算出し
て、演算回路106 に与えることができる。或いは、演算
回路106 で所定のデータ（例えば単色データ）を出力す
るときは、外部から輪郭補正量、輪郭補正のブースト
点、ゲイン量、ＬＰＦなどのフィルタ特性等の情報を与
えると、演算係数算出ユニット401 がそれに応じた、
Ｒ，Ｇ1 ，Ｇ2 ，Ｂの画素に対応して（ｎ＋ｍ）×４の
係数を算出して、演算回路106 に与えることができる。
演算係数算出ユニット401 の係数算出は、Ｃ言語などの
高級言語によるプログラムで簡単に算出すれば良く、処
理時間もリアルタイムである必要もない。つまり、輪郭
補正量、フィルタ特性、明るさなどの変更を行いたいと
きに、それに応じて演算係数算出ユニット401 で演算し
て係数を変えることが可能である。マイコンに係数算出
のためのプログラムが要るが、その代わりにフレキシビ
リティがより高くなる利点がある。

【００４６】なお、同期回路108 は、演算回路106 に対
する演算係数を変更する時には、係数選択スイッチ109
にタイミング信号を与えて、ｎ×ｍの中心画素Ｒ，Ｇ1
，Ｇ2 ，Ｂに対応して演算係数算出ユニット401 から
の演算係数を選択的に切り換えれるようにしてある。

【００４７】図５は本発明の第３の実施の形態の撮像装
置を示すブロック図である。図１と同じ回路は同一の符
号で示している。

【００４８】図５において、撮像装置100Bは、受光面に
色フィルタが配列された撮像素子101 と、Ａ／Ｄ変換器
102 と、白バランス回路103 と、ガンマ補正回路104
と、フレームメモリ121 と、ｎ×ｍメモリ501 と演算回
路106 と演算係数ユニット107と同期回路108 と係数選
択スイッチ109 とで構成される信号処理回路112Bと、リ
ミッタ110a〜110cと、３原色信号Ｒ，Ｇ，Ｂ（または輝
度・色差信号Ｖ，Ｙ，Ｕ）の出力端子111a〜111cと、を
有している。なお、図５では、演算係数ユニット107 か
らの演算係数を変えれば、Ｒ，Ｇ，Ｂいずれかの単色信
号（または輝度（Ｙ）信号）を出力することも可能であ
る。

【００４９】信号処理回路112Bは、Ａ／Ｄ変換された撮
像素子101 の任意の画素データにおいて、その周辺の画
素との演算にて、そのＲＧＢあるいはＹＵＶデータを一
度に算出する回路である。なお、信号処理回路112Bは、
Ａ／Ｄ変換された撮像素子101 の任意の画素データにお
いて、その周辺の画素との演算にて、所定のデータ例え
ばＲ，Ｇ，Ｂのいずれかの単色データあるいは輝度
（Ｙ）データを一度に算出することも可能である。この
ときの演算の係数としては、撮像素子101 に配列された
各々の画素情報に基づき、予め算出したものを用いてい
る。

【００５０】出力端子111a〜111cからの信号処理データ
はＪＰＥＧ処理などのデータ圧縮処理部（図示せず）を
経て図示しない表示パネルに表示されたり図示しない記
録媒体などに記録することが可能である。

【００５１】撮像素子101 は、受光面に色フィルタが配
列されたカラー用のＣＣＤで構成される。すなわち、図
２に示したような原色モザイク配列（Ｒ，Ｇ1 ，Ｇ2 ，
Ｂ）の画素を持つＣＣＤで構成される。撮像素子101 で
は、図示しない撮像レンズを通して受光した被写体像を
電気信号に変換する。

【００５２】Ａ／Ｄ変換器102 ではＣＣＤ出力信号をＡ
／Ｄ変換する。Ａ／Ｄ変換後のＣＣＤ出力デジタル信号
は、白バランス回路103 で白バランス補正が、ガンマ補
正回路104 で非線形処理であるガンマ補正がなされる。

【００５３】フレームメモリ121 は少なくともＣＣＤの
全画素数分（１フレーム分）を記憶する容量を有してい
る。

【００５４】図５では、図１の１Ｈ×ｍメモリ105 の代
わりに、ｎ×ｍメモリ501 を使用している。ｎ×ｍメモ
リ501 は、カスケードに接続したｍ（ｍは１以上の整
数）個の、水平ｎ画素分のメモリで構成されている。ｎ
×ｍメモリ501 の水平方向の画素数ｎは、ＣＣＤの水平
画素数（或いはフレームメモリ121 の水平画素数）に対
応しておらず、例えばＣＣＤの全画素数が３００万画素
（水平2048×垂直1536）であった場合でも、ｎは３０〜
４０のオーダーである。ｍは処理の精度によって決めら
れ、例えば、最小で２、通常は３、より解像度を高めた
いときは５に設定される。ｎ×ｍメモリ501 を構成する
各々のｎ画素メモリの出力は、ｍラインの同時化された
信号となり、演算回路106 に入力される。従って、ＣＣ
Ｄ出力信号を前記フレームメモリ121 に取り込んだ後
は、その取り込んだ全画素のうちのｎ×ｍ画素分をｎ×
ｍメモリ501 に取り込んで演算回路106 で演算処理す
る。即ち、一度フレームメモリ121 に１フレーム分の映
像データを取り込んだ後、ｎ×ｍメモリ501 にｎ×ｍ画
素分ずつ細分して取り込んで信号処理する。

【００５５】演算回路106 は線形の演算処理を行うもの
で、例えば図３に示すように構成されている。演算回路
106 は、ｎ×ｍメモリ501 からのｍラインの信号を入力
し、該ｍラインの信号に対して垂直方向の画素間で演算
し、さらに水平ｎ画素間で畳み込み演算し、ｎ×ｍ×３
の画素間の演算結果として所定のデータ例えばＲＧＢあ
るいはＹＵＶデータを出力する。なお、演算回路106 に
おける演算係数kvr1〜kvrm，kvg1〜kvgm，kvb1〜kvbm，
khr1〜khrn，khg1〜khgn，khb1〜khbnは演算係数ユニッ
ト107 から供給される。

【００５６】或いは、演算回路106 からは２次元ｎ×ｍ
の画素間の演算結果として例えばＲ，Ｇ，Ｂいずれ１つ
の単色信号或いはＹ信号を出力することもできる。

【００５７】演算係数ユニット107 は、演算回路106 で
ＲＧＢ或いはＹＵＶデータを出力するときは、その演算
係数を予め、図２のＲ，Ｇ1 ，Ｇ2 ，Ｂの４つの画素の
各々の画素に対して（ｎ＋ｍ）×３個持ち、それをＲ，
Ｇ1 ，Ｇ2 ，Ｂ各画素によって選択し、出力端子ａ〜ｄ
にＲ，Ｇ1 ，Ｇ2 ，Ｂの各画素用演算係数として出力す
る。或いは、演算係数ユニット107 は、演算回路106 で
所定のデータ（例えば単色データ）を出力するときは、
その演算係数を予め、図２のＲ，Ｇ1 ，Ｇ2 ，Ｂ各々の
画素に対して（ｎ＋ｍ）個持ち、それをＲ，Ｇ1 ，Ｇ2
，Ｂ各画素によって選択し、出力端子ａ〜ｄにＲ，Ｇ1
，Ｇ2 ，Ｂの各画素用演算係数として出力することも
できる。つまり、演算係数ユニット107 は、Ｒ，Ｇ1 ，
Ｇ2 ，Ｂの４つの画素の各々の画素に対して予め算出し
た（ｎ＋ｍ）×３個、或いは（ｎ＋ｍ）個の演算係数を
格納して保有するものであり、外部からの制御で簡単に
は変更できるようには構成されていない。図４と同様
に、線形演算係数ユニット107の代りに、演算係数算出
ユニット401 を用いて構成しても良い。このように構成
したときの演算係数算出ユニット401 による演算係数
は、外部からの情報に基づき、撮像素子101 に配列され
た各々の画素に対して算出でき、外部情報に応じて可変
できる。

【００５８】図５で述べた第３の実施の形態では、一
旦、フレームメモリ121 に記録してから、細分して線形
演算処理するブロック構成となっており、デジタルカメ
ラに適した構成となっている。図５では、非線形処理の
ガンマ補正後にフレームメモリ121 に記録している。

【００５９】図１と異なる点は、１Ｈメモリが、少ない
画素数のｎ画素メモリに変わっただけで、ｍ個の、水平
ｎ画素分のメモリ501 から出力されるｍライン分の画素
は、演算回路106 に入力され、図１と同様の処理をされ
る。そして、フレームメモリ121 から、次の処理分のｎ
×ｍライン分を時系列に読み込むことによってリアルタ
イムに処理ができる。

【００６０】演算回路106 で処理したデータは、ＪＰＥ
Ｇ処理などのデータ圧縮処理のため例えば前記フレーム
メモリ121 の空き部分に再記録され、ＪＰＥＧ処理後、
表示や記録のために図示しない表示パネルや記録媒体へ
出力することが可能である。

【００６１】以上のように、演算回路106 からは２次元
ｎ×ｍ×３の画素間あるいは２次元ｎ×ｍの画素間の演
算結果として所定のデータが出力される。ｎ×ｍメモリ
501のデータを３回読み各回ごとに演算係数を切り換え
れば、図３のように３つの回路を備える必要がなく、図
６に示すように１つの回路で所定のデータを発生させる
回路を実現できる。図６に、このような演算回路106 の
構成を示す。

【００６２】図６の演算回路106 は、ｎ×ｍメモリ501
からのｍラインの映像データを積和演算部601 で垂直方
向の画素間の演算を行い、１ライン信号を得てｎ画素メ
モリ602 に一時記憶し、この１ラインの信号は積和演算
部603 でさらに水平ｎ画素間で畳み込み演算する。そし
て、積和演算部603 からの演算処理した信号を選択スイ
ッチ604 でＲＧＢのうちのどれに対して演算処理したか
に対応して端子ａ，ｂ，ｃを切り換えて出力する。

【００６３】さらにこの図６の演算回路106 について、
通常の処理の整数倍、クロック周波数を速くすれば、高
速処理が可能である。例えば３倍のクロック周波数速度
で信号処理すれば、図３で説明した３つの回路で同時に
処理するのと同じ速度で演算処理することができる。

【００６４】さらに、演算処理したデータを前述のフレ
ームメモリ121 に再び記録し、もう一度、図３や図６の
線形演算回路106 に入力し、そのときの演算処理に対応
するように演算係数を変えれば、さらに高度な処理も可
能となる。その後ＪＰＥＧ処理し、図示しない表示パネ
ルや記録媒体へ出力することができる。

【００６５】以上述べた図１，図４，図５の各実施の形
態では、原色モザイク配列の画素を持つＣＣＤの処理に
ついて説明したが、これらの実施の形態は原色に対応で
きても補色（イェローＹe，マゼンタＭg，シアンＣy，
グリーンＧ）に対応することができていない。補色があ
れば原色にも対応することができるので、次に補色フィ
ルタ配列の場合について説明する。

【００６６】図７は本発明の第４の実施の形態の撮像装
置を示すブロック図である。本実施の形態の撮像装置10
0Cは、図８に示したような補色モザイク配列の画素を持
つＣＣＤの処理にも対応できる構成を示している。図１
と同じ回路は同一の符号で示している。

【００６７】図７で、図１と異なる点は、撮像素子101a
としては受光面に補色フィルタが配列された撮像素子を
用いていることと、ガンマ補正部104a，104b，104cによ
る非線形なガンマ処理をリミッタ110a，110b，110cの処
理後に行っていることである。図４と同様に、線形演算
係数ユニット107 の代りに、演算係数算出ユニット401
を用いて構成しても良い。また、図５と同様、１Ｈ×ｍ
メモリ105 に代えてフレームメモリ121 とｎ×ｍメモリ
501 を用いた構成とし、一旦、フレームメモリ121 に記
録してから、演算回路106 で線形演算処理をしても良
い。

【００６８】以上述べた本発明の実施の形態は、カメラ
信号処理に必須の色分離、ＦＩＲ（有限長インパルス応
答、Finite Impulse Responseの略）フィルタ処理、マ
トリックス処理、ゲイン補正、オフセット補正を、予め
或いは演算により求めた（ｎ＋ｍ）×３個或いはｎ＋ｍ
個の係数の２次元処理により一度に算出でき、その係数
を可変することによりフレキシビリティのある高速な処
理を実現することが可能である。

【００６９】従って、ハードウェアで構成するが、恰も
ＤＳＰでプログラムしたようにフレキシビリティがあっ
てかつ高速性を有した撮像装置を実現することができ
る。

【００７０】尚、図３の演算回路106 においてＲ，Ｇ，
Ｂのいずれか１つの単色信号或いは輝度（Ｙ）信号を出
力させるときは、図３を構成する３組の演算回路を全て
使ってＲ，Ｇ，Ｂ全てを同一色とするように演算係数を
変えて行っても良いし、図３を構成する３組の演算回路
のうちの１つの演算回路のみを動作させてＲ，Ｇ，Ｂの
いずれか１つの単色信号を出力するように行っても良
い。同様に、図６の演算回路106 においてＲ，Ｇ，Ｂの
いずれか１つの単色信号或いは輝度（Ｙ）信号を出力さ
せるときは、選択スイッチ604 を選択的に切り換えて使
用しＲ，Ｇ，Ｂ全てを同一色とするように演算係数を変
えて行っても良いし、選択スイッチ604 をＲ，Ｇ，Ｂの
いずれか１つの単色信号を出力するように固定的に切り
換えて行っても良い。

【００７１】

【発明の効果】以上述べたように本発明によれば、カメ
ラの信号処理において、ハードウェアで構成するが、変
更が容易な構成を採用することで、フレキシビリティが
高く、高速処理が可能な撮像装置及び撮像方法を実現す
ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の撮像装置を示すブ
ロック図。

【図２】原色モザイク配列をもつＣＣＤの画素図。

【図３】図１における演算回路の構成例を示すブロック
図。

【図４】本発明の第２の実施の形態の撮像装置を示すブ
ロック図。

【図５】本発明の第３の実施の形態の撮像装置を示すブ
ロック図。

【図６】図５における演算回路の構成例を示すブロック
図。

【図７】本発明の第４の実施の形態の撮像装置を示すブ
ロック図。

【図８】補色モザイク配列をもつＣＣＤの画素図。

【図９】従来の撮像装置を示すブロック図。

【符号の説明】

100，100A，100B，100C…撮像装置 101…撮像素子 102…Ａ／Ｄ変換器 105…１Ｈ×ｍメモリ 106…演算回路 107…演算係数ユニット 108…同期回路 109…係数選択スイッチ 121…フレームメモリ 401…演算係数算出ユニット 501…ｎ×ｍメモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/48 Ｈ０４Ｎ 1/46 Ａ Ｆターム(参考） 5B047 AA05 AB04 BA03 BB04 BC07 CB11 DB01 DC11 DC20 5B057 BA02 BA12 BA29 CH01 CH08 CH11 CH18 5C065 AA01 BB02 BB12 BB30 CC02 CC03 CC09 DD02 EE05 EE08 GG18 GG30 5C077 LL18 MM03 MP08 PP32 PP34 PP37 PP68 PQ08 PQ12 PQ22 RR01 RR19 TT09 5C079 HB01 HB04 LA17 LA31 MA02 MA11 NA11 NA15 PA00

Claims (13)

【特許請求の範囲】
1. 【請求項１】被写体を撮像する撮像素子と、 該撮像素子の出力信号をＡ／Ｄ変換するＡ／Ｄ変換部
   と、 前記Ａ／Ｄ変換された撮像素子の任意の画素データにお
   いて、その周辺の画素との演算にて、所定のデータを一
   度に算出する信号処理回路と、 を具備したことを特徴とする撮像装置。
2. 【請求項２】前記信号処理回路は、 前記撮像素子の水平画素数と同一の画素数を有する１Ｈ
   メモリをｍ（ｍは１以上の整数）個有してなり、前記Ａ
   ／Ｄ変換された撮像素子の画素データを取り込む１Ｈ×
   ｍメモリと、 前記１Ｈ×ｍメモリからのｍラインの信号を入力し、該
   ｍラインの信号に対して垂直方向の画素間で演算し、さ
   らに水平ｎ画素間で畳み込み演算し、ｎ×ｍの画素間の
   演算結果として所定のデータを出力する演算回路と、 色フィルタ配列の各色画素データに対し該所定出力デー
   タ当り（ｎ＋ｍ）個の演算係数を有し、ｎ×ｍの各色画
   素に対応して切り換えて前記演算回路に供給する演算係
   数ユニットと、 を具備したことを特徴とする請求項１記載の撮像装置。
3. 【請求項３】前記信号処理回路は、 前記撮像素子の水平画素数と同一の画素数を有する１Ｈ
   メモリをｍ（ｍは１以上の整数）個有してなり、前記Ａ
   ／Ｄ変換された撮像素子の画素データを取り込む１Ｈ×
   ｍメモリと、 前記１Ｈ×ｍメモリからのｍラインの信号を入力し、該
   ｍラインの信号に対して垂直方向の画素間で演算し、さ
   らに水平ｎ画素間で畳み込み演算し、ｎ×ｍの画素間の
   演算結果として所定のデータを出力する演算回路と、 外部からのゲイン，輪郭補正量，フィルタ特性などのデ
   ータに基づき、色フィルタ配列の各色画素データに対し
   該所定出力データ当り（ｎ＋ｍ）個の演算係数を算出
   し、ｎ×ｍの各色画素に対応して切り換えて前記演算回
   路に供給する演算係数算出ユニットと、 を具備したことを特徴とする請求項１記載の撮像装置。
4. 【請求項４】被写体を撮像する撮像素子と、 該撮像素子の出力信号をＡ／Ｄ変換するＡ／Ｄ変換部
   と、 前記Ａ／Ｄ変換された映像データを一時記憶するフレー
   ムメモリと、 前記フレームメモリから読み出された撮像素子の任意の
   画素データにおいて、その周辺の画素との演算にて、所
   定のデータを一度に算出する信号処理回路と、 を具備したことを特徴とする撮像装置。
5. 【請求項５】前記信号処理回路は、 前記撮像素子の水平画素数より少ないｎ画素を有するｎ
   画素メモリをｍ（ｍは１以上の整数）個有してなり、前
   記フレームメモリから読み出された撮像素子の画素デー
   タを取り込むｎ×ｍメモリと、 前記ｎ×ｍメモリからのｍラインの信号を入力し、該ｍ
   ラインの信号に対して垂直方向の画素間で演算し、さら
   に水平ｎ画素間で畳み込み演算し、ｎ×ｍの画素間の演
   算結果として所定のデータを出力する演算回路と、 色フィルタ配列の各色画素データに対し該所定出力デー
   タ当り（ｎ＋ｍ）個の演算係数を有し、ｎ×ｍの各色画
   素に対応して切り換えて前記演算回路に供給する演算係
   数ユニットと、 を具備したことを特徴とする請求項４記載の撮像装置。
6. 【請求項６】前記信号処理回路は、 前記撮像素子の水平画素数より少ないｎ画素を有するｎ
   画素メモリをｍ（ｍは１以上の整数）個有してなり、前
   記フレームメモリから読み出された撮像素子の画素デー
   タを取り込むｎ×ｍメモリと、 前記ｎ×ｍメモリからのｍラインの信号を入力し、該ｍ
   ラインの信号に対して垂直方向の画素間で演算し、さら
   に水平ｎ画素間で畳み込み演算し、ｎ×ｍの画素間の演
   算結果として所定のデータを出力する演算回路と、 外部からのゲイン，輪郭補正量，フィルタ特性などのデ
   ータに基づき、色フィルタ配列の各色画素データに対し
   該所定出力データ当り（ｎ＋ｍ）個の演算係数を算出
   し、ｎ×ｍの各色画素に対応して切り換えて前記演算回
   路に供給する演算係数算出ユニットと、 を具備したことを特徴とする請求項４記載の撮像装置。
7. 【請求項７】前記所定のデータは、ＲＧＢあるいはＹＵ
   Ｖデータであることを特徴とする請求項１又は４記載の
   撮像装置。
8. 【請求項８】前記演算回路は、ｎ×ｍ×３の画素間の演
   算結果としてＲＧＢあるいはＹＵＶデータを出力し、 前記演算係数ユニットは、色フィルタ配列の各色画素デ
   ータに対しＲＧＢあるいはＹＵＶ出力データ当り（ｎ＋
   ｍ）×３個の演算係数を保有あるいは算出することを特
   徴とする請求項１〜７のいずれか１つに記載の撮像装
   置。
9. 【請求項９】被写体を撮像素子にて撮像する撮像ステッ
   プと、 前記撮像素子の出力信号をＡ／Ｄ変換するＡ／Ｄ変換ス
   テップと、 前記Ａ／Ｄ変換された撮像素子の任意の画素データにお
   いて、その周辺の画素との演算にて、所定のデータを一
   度に算出する信号処理ステップと、 を備えたことを特徴とする撮像方法。
10. 【請求項１０】被写体を撮像素子にて撮像する撮像ステ
    ップと、 前記撮像素子の出力信号をＡ／Ｄ変換するＡ／Ｄ変換ス
    テップと、 前記Ａ／Ｄ変換された映像データをフレームメモリに一
    時記憶する記憶ステップと、 前記フレームメモリから読み出された撮像素子の任意の
    画素データにおいて、その周辺の画素との演算にて、所
    定のデータを一度に算出する信号処理ステップと、 を備えたことを特徴とする撮像方法。
11. 【請求項１１】前記演算の係数は、撮像素子に配列され
    た各々の画素情報に基づき、予め算出したものであるこ
    とを特徴とする請求項９又は１０記載の撮像方法。
12. 【請求項１２】前記演算の係数は、外部からの情報に基
    づき、撮像素子に配列された各々の画素に対して算出し
    たものであることを特徴とする請求項９又は１０記載の
    撮像方法。
13. 【請求項１３】前記所定のデータは、ＲＧＢあるいはＹ
    ＵＶデータであることを特徴とする請求項９〜１２のい
    ずれか１つに記載の撮像方法。