JP2006033496A - データ幅可変な撮像装置及び撮像方法 - Google Patents

Abstract

【課題】 画像処理装置の側で取り扱うデータ量をコントロールすることにより、極めて小規模の変更により、取り扱うデータ量の制御を可能にし、消費電力の削減と処理高速化を実現できる撮像装置を提供する。
【解決手段】 本発明の撮像装置は、撮像信号を出力する固体撮像素子２８と、撮像信号をデジタルデータに変換するアナログデジタル変換手段２９と、デジタルデータを一時保存するバッファメモリ手段３５と、バッファメモリ手段３５へ転送するデータを生成するデータ生成手段３１ａと、データ生成手段３１ａの出力をバッファメモリ手段３５へ転送するデータ転送手段３２と、バッファメモリ手段３５からデータを読み出すデータ読み出し手段３８と、読み出したデータを表示に適した形式に変換する画像処理手段３６とを有し、撮影条件によりバッファメモリ３５に一時保存するデータのビット数を変更する。
【選択図】 図３

Description

この発明は、デジタル画像の撮像装置、とりわけ高速で処理が必要な場合は処理するデータ量を減らすことにより、データ転送量を減らして処理を高速化することが可能な撮像装置及び撮像方法に関し、更にはデータの送受信量を削減することにより、メモリ等の回路稼動回数を減少させて、低消費電力化をも実現できる撮像装置及び撮像方法に関する。

従来、連写の高速化では、複数回に別けて、全画素を取り出すインタレース転送方式撮像素子の一部の転送データだけ画像を作成することにより高速化を実現することや、取り扱いデータのビット数を少なくするために撮像素子に専用回路を設けて高速化を実現していた。

すなわち、従来から、デジタル画像の撮像装置には、インタレース転送方式の撮像装置および撮像方法として、インタレース方式の読み出し時に、全フィールドを読み出さず、一部のフィールドだけを読み出して、画像を生成することにより、画像処理の高速化を実現するようにしたものが知られている。この従来の技術では、固体撮像素子（ＣＣＤ）の一部のデータのみを使って画像を生成している（例えば、特許文献１参照。）。

また、従来から、固体撮像装置及びその駆動方法として、静止画と動画とで異なるビット数を扱うようにすると共に、動画の方のビット数を少なくするために、動画と静止画とでデータ信号の読み出し経路を異ならせ、専用の固体撮像素子及びその駆動方法を用いて、画像処理の高速化を図るようにしたものもある（例えば、特許文献２参照。）。
特開2003-224856号公報 特開平6-28434号公報

しかしながら、特許文献１に開示の技術では、一部の転送フィールドのみを用いて画像処理を行うことにより画像処理の高速化を図っているので、画像データを取り出した部分と取り出さなかった部分との間に不連続性が発生し、画質の劣化が発生する。

特許文献２に開示の技術では、撮像素子に専用回路を設けることよりデータビット数を変更するシステムを採用しているので、回路規模が増大して小型化できず、消費電力のアップや、コストアップが問題になる。

この発明は、これらのことに鑑みて為されたもので、画像処理装置の側で取り扱うデータ量をコントロールすることにより、極めて小規模の変更により、取り扱うデータ量の制御を可能にし、消費電力の削減と処理高速化を実現できる撮像装置及び撮像方法の提供を目的とする。

請求項１に記載の撮像装置は、撮像信号を出力する固体撮像素子と、前記撮像信号をデジタルデータに変換するアナログデジタル変換手段と、前記デジタルデータを一時保存するバッファメモリ手段と、該バッファメモリ手段へ転送するデータを生成するデータ生成手段と、該データ生成手段の出力を前記バッファメモリ手段へデータを転送するデータ転送手段と、前記バッファメモリ手段からデータを読み出すデータ読み出し手段と、読み出したデータを表示に適した形式に変換する画像処理手段とを有し、撮影条件によりバッファメモリに一時保存するデータのビット数を変更することを特徴とする。

請求項２に記載の撮像装置は、前記データ生成手段が、前記デジタルデータの下位ビットを切り捨てることにより前記ビット数の変更を行うことを特徴とする。

請求項３に記載の撮像装置は、前記データ生成手段が、ビット数を変換する変換データテーブルを用いてビット数を減少させることにより前記ビット数の変更を行うことを特徴とする。

請求項４に記載の撮像装置は、撮影の際に連写と単写が可能であり、連写時に単写時よりもビット数を少なくすることを特徴とする。

請求項５に記載の撮像装置は、撮影の際に動画と静止画が可能であり、動画時は静止画時よりもビット数を少なくすることを特徴とする。

請求項６に記載の撮像装置は、高速動作モードと通常動作モードの2つの撮影モードとを有し、高速動作モード時は通常動作モード時よりもビット数を少なくしたことを特徴とする。

請求項７に記載の撮像装置は、低消費電力動作モードと通常動作モードの2つの撮影モードを有し、低消費電力動作モード時は通常動作モード時よりもビット数を少なくしたことを特徴とする。

請求項８に記載の撮像方法は、撮像素子出力の撮像信号をデジタル信号に変換するアナログデジタル変換工程と、デジタルデータを一時保存するバッファメモリへ転送するデータを生成するデータ生成工程と、データ生成工程の出力をバッファメモリへ転送するデータ転送工程と、バッファメモリからデータを読み出すデータ読み出し工程と、読み出したデータを表示に適した形式に変換する画像処理工程とを有する撮像方法において、データ生成工程にはデータのビット数を変更する処理が含まれることを特徴とする。

請求項９に記載の撮像方法は、デジタルデータの下位ビットを切り捨てることによりビット数の変更を行うことを特徴とする。

請求項１０に記載の撮像方法は、ビット数を変換する変換データテーブルを用いてビット数を減少させることによりビット数の変更を行うことを特徴とする。

請求項１、請求項８に記載の発明によれば、撮影条件や目的に応じて処理するビット数を変更することにより、回路を大型化することなく高画質化や高速化、抵触費電力化を極めて小規模の変更で実現することができる。

すなわち、高画質を目的とするときには取扱いビット数を多くすることにより高画質を期待できる一方、処理速度を早くしたい場合や消費電力を少なくしたい場合には、取扱いビット数を少なくすることにより、処理が早くなり、消費電力も抑制できる。

例えば、撮影条件及び目的の判定条件を高速処理とした場合、連写や動画では処理データ量を削減して高速処理を行い、通常撮影では取扱いデータ量削減を行わずに高画質化を行うことができる。

また、撮影条件及び目的の判定条件を低消費電力とした場合、低消費電力モードでは画質よりも消費電力削減を行うために処理データ量を削減し、通常撮影では取扱いデータ量の削減を行わずに高画質化を行うことができる。

請求項２、請求項９に記載の発明によれば、固体撮像素子から出力されるデータを各画素毎に取り出し、各画素の取扱いビット数を撮影目的及び条件に応じて変更することにしたから、特に画像処理の高速化や消費電力化を図る際に、各画素を間引くことなく取扱いデータ量を減少させることができ、従って、画質の劣化をことさら助長することなく、画像処理の高速化、消費電力化を図ることができる。

請求項３、請求項１０に記載の発明によれば、バッファメモリに一時保存する前に、ビット数変換テーブルを用いて取扱いビット数の削減を行うことにしたから、請求項２、請求項９に記載の発明の効果に加えて、より一層の画像処理の高速化、消費電力化を図ることができ、例えば、発明の実施形態のようにバッファメモリに保存する前にγルックアップテーブルを用いてガンマ変換を行うと共にビット数の削減を行うことにすれば、バッファメモリに保存してからガンマ変換を行うのに較べて、処理時間の短縮を図ることができることになり、より一層処理の効率化を図ることができる。

以下に添付図面を参照して，この発明の撮像装置および撮像方法の好適な実施の形態を説明する。

図１（ａ）〜図１（ｃ）は撮像装置であるデジタルスチルカメラの外観図である。その図１（ａ）はデジタルスチルカメラの正面図を示し、この図１（ａ）において、１はカメラ本体であり、カメラ本体１にはその正面側に鏡胴ユニット２、測距ユニット３、光学ファインダ４、ストロボ発光部５、リモートコントロール受光部６が設けられている。

カメラ本体１にはその背面側に図１（ｂ）に示すようにＬＣＤモニタ７、ズームスイッチ（ワイド）８、ズームスイッチ（テレ）９、セルフタイマ／削除兼用スイッチ１０、メニュースイッチ１１、上／ストロボ兼用スイッチ１２、下／マクロ兼用スイッチ１３、右スイッチ１４、左／画像確認スイッチ１５、ＯＫスイッチ１６、ディスプレィスイッチ１７、電源スイッチ１８、ＡＦＬＥＤ１９、ストロボＬＥＤ２０が設けられている。カメラ本体１の上面側には、図１（ｃ）に示すようにレリーズシャッタースイッチ２１、モードダイアルスイッチ２２、サブＬＣＤ２３が設けられている。カメラ本体１の側部にはＳＤカード／電池兼用の蓋板２４が設けられている。

ここで、ズームスイッチ８、９、セルフタイマ／削除兼用スイッチ１０、メニュースイッチ１１、上／ストロボ兼用スイッチ１２、下／マクロ兼用スイッチ１３、右スイッチ１４、左／画像確認スイッチ１５、ＯＫスイッチ１６、ディスプレィスイッチ１７、電源スイッチ１８、レリーズシャッタースイッチ２１、モードダイアルスイッチ２２は操作部２２Ａを構成している。

電源スイッチ１８によりシステムが起動する。モードダイアルスイッチ２２によって、静止画撮影、連写撮影、動画撮影の各撮影モードと、再生モードが選択される。撮影モードが選択されている場合は、ＬＣＤモニタ７にファインダモードとして連続的に更新される画面が表示される。ここでレリーズシャッタースイッチ（ボタン）２１を押すと、静止画、連写、動画などの各モードに応じて撮影動作が開始される。

図２はデジタルスチルカメラのブロック図である。最初に図２を用いて静止画及び連写の撮影動作の概要を説明する。

モータドライバ２５を介してフォーカスやズームのレンズ２６のモータを駆動して、所望の焦点距離とフォーカス位置を設定する。撮像レンズ２７を介して入射し、固体撮像素子としてのＣＣＤ２８の撮像面で結像した画像は、ＣＣＤ２８からりアナログＲＧＢ画像信号として取り出される。このアナログＲＧＢ画像信号は、Ｆ／Ｅ（ＣＤＳ，ＡＧＣ，Ａ／Ｄ）２９によりデジタルＲＧＢ信号（デジタルＲＧＢデータ）に変換され、信号処理回路ＩＣ３０に入力される。信号処理回路ＩＣ３０はＣＣＤ−Ｉ／Ｆ３１、メモリーコントローラ３２、表示Ｉ／Ｆ３３、圧縮ブロック３４、ＹＵＶ変換部３６を有する。

デジタルＲＧＢ信号はＣＣＤ−Ｉ／Ｆ３１、データ転送手段としてのメモリーコントローラ３２を介してバッファメモリ手段としてのＳＤＲＡＭ３５にデジタルＲＧＢデータとして取り込まれる。

ＳＤＲＡＭ３５のデジタルＲＧＢデータは、メモリーコントローラ３２に読み出されて画像処理手段としてのＹＵＶ変換部３６によりＹＵＶのデータに変換されると共にγルックアップテーブルによりγ変換されてＳＤＲＡＭ３５に書き戻される。

ＹＵＶデータは再度読み出され、圧縮ブロック３４においてＪＰＥＧ圧縮され、ＳＤＲＡＭ３５に書き戻される。ＳＤＲＡＭ３５では、ＪＰＥＧ圧縮されたデータにヘッダデータなどが付加されてＪＰＥＧ画像データとし、読み出し手段としても機能するＣＰＵ３８によってメモリーカード３９に保存される。連写はこの動作を連続的に行う。

動画の記録動作も基本的には静止画と同じである。ここでは、MotionJPEGの動画方式で記録しているため、フレーム間相関性を用いた圧縮は行わない。そのためＣＣＤ２８から取り出された各フレームは独立して圧縮を行う。圧縮されたデータは逐次メモリカード３９に記録され、動画終了時に記録時間などの情報を付加して１つのファイルとして記録される。

第１実施例として、画像処理ＩＣの入力時にデータを切り捨てる実施例を、図3を用いて説明を行う。

最初に高速処理を行わない場合の処理の流れを説明する。

ＣＣＤ２８の出力のアナログＲＧＢデータは、Ｆ／Ｅ（ＣＤＳ，ＡＧＣ，Ａ／Ｄ）２９において１２ビット階調のデジタルデータに変換され、信号処理ＩＣ３０のＣＣＤ−Ｉ／Ｆ３１に入力される。ＣＣＤ−Ｉ／Ｆ３１のビット数選択部３１ａは、バッファメモリ手段へ転送するデータを生成するデータ生成手段として機能し、１２ビット有効の場合には何も処理せずデータパック部３２ｂにデジタルデータを送る。データパック部３２ｂでは、図５（ａ）に示すように、１２ビットデータを３バイト（２４ビット）で２画素分のデータにパックして、メモリーコントローラ３２に２４bitずつ出力する。すなわち、先の１２ビットデータに、後の１２ビットデータの中の４ビット分を加えて１６ビットとして転送する。後のデータの４ビット分を先の１２ビットデータに加えて送る分だけ、転送効率が向上することになる。ついで、後のデータの８ビット分にその後に続くデータの８ビット分を加えて１６ビットとして転送する。この場合にもその後に続くデータの８ビット分を先の８ビットデータに加えて送る分だけ、転送効率が向上する。

メモリーコントローラ３２は、３２ビット毎にＳＤＲＡＭ３５にデータの書込みを行う。メモリコントローラ３２はこのデータを再度読み出してＹＵＶ変換部３６に送る。

ＹＵＶ変換部３６では、エッジ強調やγ変換などの処理を行う。なお、このＹＵＶ変換前に、ＣＰＵ３８はＳＤＲＡＭ３５のＲＧＢデータを読み出して、輝度分布や色分布の解析を行い、その結果をもとにＹＵＶ変換時のパラメータを決定する。このモードでは、１２ビットのデータの送受信を行うことにより、扱うデータ量は画素数の１.５倍となる。

次に高速処理を行う場合の処理の流れを説明する。

ＣＣＤ２８の出力のアナログＲＧＢデータは、ＣＣＤ−Ｉ／Ｆ３１のビット数選択部３１ａに入力される。ここでは、ビット数選択部３１ａでは、何ビット分を有効データにするかの選択が行われる。ＣＰＵ３８により１２ビット中の１０ビットを有効にするモードが選択された場合は、ビット数選択部３１ａは、入力されたＲＧＢデータを下位方向に２ビットシフトを行う。１０ビット有効データは、データパック部３２ｂに送られる。

データパック部３２ｂでは、図５（ｂ）に示すように、１０ビットデータを５バイト（４０ビット）で４画素分のデータにパックして、メモリーコントローラ３２に出力する。

メモリーコントローラ３２は、３２ビット毎にＳＤＲＡＭ３５への書込みを行う。このデータを再度読み出してＹＵＶ変換部３６に送る。ＹＵＶ変換部３６では、エッジ強調やγ変換などの処理が行われる。同様に、ＹＵＶ変換前に、ＣＰＵ３８は輝度分布や色分布の解析を行い、ＹＵＶ変換パラメータを決定する。

この高速処理モードでは１０ビットのデータ送受信を行うことにより、扱うデータ量は画素数の１.２５倍となる。

この第１実施例によれば、撮影の目的及び条件に合わせて、データのビット数の変更を行うことにより、すなわち、高速に連続撮影をすることが第１優先であるモード、例えば連写や動画では、ビット数を減らして高速処理を実現することができ、画質を優先する静止画モードでは、ビット数を減らさない処理を実施して、高画質を実現することができる。

というのは、高速処理を行わない処理のときの利点は、γ変換を行うときのビット数にあるからである。γ変換は一般的に非線形変換であるため、非線形な部分では入力に対する出力の変化が大きくなる部分があり、この部分では階調の再現性が悪くなる場合がある。そのため、多くの入力ビット数があった方が、画質の向上が期待できるというメリットがあり、その反面、１画素分のデータ量多くなり、データ転送回数が増大して処理速度が低下することや、メモリのリードライト量が増加することにより消費電力が増大するデメリットがあるが、これに対して、高速処理を行う場合は、データ量を減らすことにより処理速度の向上と、消費電力削減というメリットがあるが、その反面、階調再現性が劣化するというデメリットがあるからである。

なお、この第１実施例では、階調特性の違いについての高画質のメリットを述べたが、その他のパラメータでもよい。

また、この第１実施例によれば、目的及び条件が、低消費電力モードであるかどうかとすることもできる。低消費電力モードでは、デジタルデータのビット数を減らすことにより、送受信データ量を削減して、低消費電力を実現することができる。低消費電力モードが選択されていない場合は、高画質処理として、データ量を減らさないモードで高画質を実現することができる。

次に、第２実施例として、γ変換によって画像処理ＩＣからの出力データ量を削減する実施例を、図４を用いて説明を行う。

高速処理を行わない場合の処理の流れは第１実施例と同じである。高速処理を行う場合の処理の流れは以下に説明する方法の通りである。

ＣＣＤ２８の出力のアナログＲＧＢデータは、ＣＣＤ−Ｉ／Ｆ３１のビット数選択部３１ａに入力される。

ここでは、何ビット分を有効データにするかの選択が行われる。ここでは、全１２ビット有効にするモードとしてγ変換部３１ｂに入力する。γ変換部３１ｂでは、階調特性の変更を行うために、１２ビットを８ビットに変換して、データパック部３２ｂに出力する。これには、γ−ＬＵＴ（γルックアップテーブル）３１ｃを用いる。このγ−ＬＵＴ３１ｃはγ変換の際に１２ビットデータを８ビットに変換するため、ビット数を減少させる変換データテーブルの役割も果たす。データパック部３２ｂでは、図５（ｃ）に示すように、１バイト（８ビット）で１画素として、メモリーコントローラ３２に出力する。メモリーコントローラ３２は、３２ビット毎にＳＤＲＡＭへの書込みを行う。

このデータを再度読み出してＹＵＶ変換部３６に送る。ＹＵＶ変換部３６では、エッジ強調などの処理が行われる。ただし、すでに、γ変換が行われているので、このＹＵＶ変換部３６では行わない。ＹＵＶ変換前に、輝度分布や色分布の解析を行い、ＹＵＶ変換パラメータを決定するが、γ変換はすでに完了しているため、輝度分布をもとにした階調特性の変更はできなくなる。

このモードでは、８ビットのデータ送受信を行うため、扱うデジタルデータ量は画素数分のバイト数になる。

この実施例２によれば、高速処理を行うときと行わないときとで、輝度分布や色分布等の情報に基づき、階調特性の処理に用いるガンマルックアップテーブルを入れ替えることが可能であることにある。被写体に応じて最適なデータが利用可能であり、高画質化が期待できる。

その一方、高速処理を行う場合は、取扱いデータ量を２／３に減らすことができ、処理速度の向上及び消費電力削減を図ることができるメリットがある。

デメリットとして、予め決まったγルックアップテーブル３１ｃを使用することになり、撮影時の状態に応じて適応的な対応ができなくなる不具合があるが、撮影目的及び条件に合わせて、ビット数の変更を行うことにすれば良い。

つまり、高速連続撮影を優先するモード、例えば連写や動画においては、取扱いビット数を減らすことにより高速処理を実現することができる。画質を優先する静止画モードでは、バッファメモリに保存したＲＧＢデータに基づき決定した階調特性によりγ変換を実施して、高画質を実現する。なお、この実施例では、階調特性の違いについての高画質のメリットを述べているが、その他のパラメータでもよい。

目的及び条件を、低消費電力モードであるかどうかとすることもできる。低消費電力モードでは、デジタルデータのビット数を減らすことにより、送受信データ量を削減して低消費電力を実現することができる。低消費電力モードが選択されていない場合は、高画質処理として、データ量を減らさないモードで高画質を実現することができる。

本発明に係わる撮像装置の外観図を示し、（ａ）は正面図、（ｂ）は背面図、（ｃ）は上面図である。 本発明に係わる撮像装置のブロック回路図である。 本発明に係わる撮像装置の実施例１に係わる要部回路図である。 本発明に係わる撮像装置の実施例２に係わる要部回路図である。 本発明に係わるデータの取扱いを説明するための説明図であって、（ａ）は１２ビットずつ詰めて２４ビットを１パックとして送信する場合の説明図であり、（ｂ）は１０ビットずつ詰めて４０ビットを１パックとして送信する場合の説明図であり、（ｃ）は８ビットずつ詰めて３２ビットを１パックとして送信する場合の説明図である。

符号の説明

２８…ＣＣＤ（固体撮像素子）
２９…Ｆ／Ｅ（アナログデジタル変換手段）
３１ａ…ビット数選択部（データ生成手段）
３５…ＳＤＲＡＭ（バッファメモリ手段）
３６…ＹＵＶ変換部（画像処理手段）
３８…ＣＰＵ（画像読み出し手段）

Claims (10)

1. 撮像信号を出力する固体撮像素子と、前記撮像信号をデジタルデータに変換するアナログデジタル変換手段と、前記デジタルデータを一時保存するバッファメモリ手段と、該バッファメモリ手段へ転送するデータを生成するデータ生成手段と、該データ生成手段の出力を前記バッファメモリ手段へ転送するデータ転送手段と、前記バッファメモリ手段からデータを読み出すデータ読み出し手段と、読み出したデータを表示に適した形式に変換する画像処理手段とを有し、撮影条件によりバッファメモリに一時保存するデータのビット数を変更することを特徴とする撮像装置。
2. 前記データ生成手段が、前記デジタルデータの下位ビットを切り捨てることにより前記ビット数の変更を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記データ生成手段が、ビット数を変換する変換データテーブルを用いてビット数を減少させることにより前記ビット数の変更を行うことを特徴とする請求項１に記載の撮像装置。
4. 撮影の際に連写と単写が可能であり、連写時に単写時よりもビット数を少なくすることを特徴とする請求項１〜請求項3のいずれか１項に記載の撮像装置。
5. 撮影の際に動画と静止画が可能であり、動画時は静止画時よりもビット数を少なくすることを特徴とする請求項１〜請求項３のいずれか１項に記載の撮像装置。
6. 高速動作モードと通常動作モードの2つの撮影モードとを有し、高速動作モード時は通常動作モード時よりもビット数を少なくしたことを特徴とする請求項１〜請求項３のいずれか１項に記載の撮像装置。
7. 低消費電力動作モードと通常動作モードの2つの撮影モードを有し、低消費電力動作モード時は通常動作モード時よりもビット数を少なくしたことを特徴とする請求項１〜請求項３のいずれか１項に記載の撮像装置。
8. 撮像素子出力の撮像信号をデジタル信号に変換するアナログデジタル変換工程と、デジタルデータを一時保存するバッファメモリへ転送するデータを生成するデータ生成工程と、データ生成工程の出力をバッファメモリへ転送するデータ転送工程と、バッファメモリからデータを読み出すデータ読み出し工程と、読み出したデータを表示に適した形式に変換する画像処理工程とを有する撮像方法において、データ生成工程にはデータのビット数を変更する処理が含まれることを特徴とする撮像方法。
9. デジタルデータの下位ビットを切り捨てることによりビット数の変更を行うことを特徴とする請求項８に記載の撮像方法。
10. ビット数を変換する変換データテーブルを用いてビット数を減少させることによりビット数の変更を行うことを特徴とする請求項8に記載の撮像方法。

Images