JP2006287733A - 撮像装置、その操作方法、記憶媒体及びプログラム - Google Patents

Abstract

【課題】表示系と記録系とで異なった解像度、フレームレートの画像を同時に表示・記録する場合においても、バス上のトラフィックを増大させることがないようにする。
【解決手段】撮像デバイスから映像信号を取り込み、表示及び記録を行う撮像装置において、該映像信号に対して、表示系と記録系とで異なった画像処理を行い、異なった出力をする画像処理手段を備えた撮像装置等、を提供する。
【選択図】 図１

Description

本発明は、撮像デバイスからの映像信号を受けて、該映像信号を画像処理し、表示するとともに記録を行う撮像装置、方法、記憶媒体及びプログラムに関するものである。

近年、デジタルカメラに代表される撮像手段、表示手段、記録手段を備えた撮像装置が普及している。
この種の機器では、表示部にファインダー画像と呼ばれる動画像を表示しながら、静止画像を取り込むことが可能である。また同様に表示部にファインダー画像と呼ばれる動画像を表示しながら、同時に同画像をMPEG4などの圧縮方式により圧縮し、Compact FlashカードやSDカードなどの二次記憶媒体へ記録することが可能である。

図５は、撮像装置のハードウェア構成の例を示すブロック図である。
５０１はCCD（Charge Coupled Device）センサやCMOSセンサなどの撮像素子と、レンズ、シャッター、ズーム機構などの光学系で構成される撮像デバイスである。５０２は撮像デバイス５０１への制御を行うとともに、撮像デバイス５０１からの出力信号を受けて、A/D変換などを行う信号処理部、５０３は映像信号を一時記憶するフレームバッファ、５０４は映像信号を表示部５０５へ出力するための表示制御部、５０５は表示部、５０６は映像信号を圧縮もしくは伸張する圧縮/伸張部、５０７は全体の制御を行うCPU、５０８はコマンドの入力を行う入力部、５０９は圧縮された信号を記憶しておく二次記憶部、５１０はワーク領域として用いるRAM、５５１はプログラムを記憶しておくROM、５１２はDMA制御部である。

まず、表示動作について述べる。
撮像デバイスから順次出力された映像信号は信号処理部にて、CCIR規格準拠のYUV形式のデータに変換される。ここでYUV形式のデータは、Y、Cb、Cr（各8ビット）のデータで表され、いわゆる４：２：２と呼ばれるフォーマットのデータであり、この種の装置のデファクトスタンダードとなっている。

次に、該変換されたデータは、フレームバッファ５０３の予め設定された領域へ順次ライトされ、記憶される。
表示制御部５０４は表示部５０５に求められるタイミング要求に従い、該フレームバッファ５０３内の該設定領域から順次リードし、表示部５０５へ出力する。ここで、表示部５０５はYUV形式のデータを入力して表示可能なデバイスである。表示部５０５は該データを受け取り、表示を行う。

以上の動作においてはDMA制御部５１２がバスアクセスに関する制御を行う。
そして、以上の動作を順次繰り返すことにより、ファインダー画像の表示が行われる。
次に、記録動作について述べる。
圧縮/伸張部５０６はフレームバッファ５０３から順次YUV形式のデータをリードする。
そして、MPEG4などの圧縮方式を用いて圧縮を行う。圧縮方式に関しては様々な方法が公開されているのでここでは述べない。順次リードの間隔についてはフレームレートと呼ばれ、予め設定してある設定値に従い、行われる。
圧縮されたデータは二次記憶部５０９へ記憶される。
以上動作を繰り返し行うことで、動画像が記録される。

従来例においては、フレームバッファ５０３に対して信号処理部５０２からの順次ライトと、表示制御部５０４からの順次リード、圧縮/伸張部５０６からの順次リードが起こり、アクセスが集中してしまう。

また、同一の領域のデータを用いるため、表示部５０５へ表示されるデータの解像度と、二次記憶部５０９へ記憶されるデータの解像度は必然的に同じものとなっていた。このことは、携帯型機器などで表示デバイスの解像度が小さい場合には大きな問題となっていた。

また従来例においては、表示部５０５へ表示する解像度と、二次記憶部５０９へ記憶する解像度とを異なったものにするためには、フレームバッファ５０３中のデータをCPU５０７がリードし、リサイズ処理を行った後にフレームバッファ５０３内の当初の設定領域とは異なった領域へライトする作業が必要となる。
そのためバス上のトラフィックが増大してしまう課題があった。

さらに、従来技術によれば表示部５０５はYUV形式のデータが表示可能なデバイスに限定される。
一般的に、YUV形式が表示可能なデバイスは画素の配列がトライアングル状になっており、風景などの境界のはっきりしない画像については得意とするが、文書や数表などいわゆるオフィスで使用されるような境界のはっきりした画像については境界線がにじんだように表示されるため苦手としている。
このような画像に対しては、画素の配列がストライプ状になっているRGB形式のデータが表示可能なデバイスが向いている。

ところが、近年ではこの種の機器においても両種の画像を表示することが求められており、YUV形式ではなくRGB形式のデータを用いて表示するデバイスの使用が期待されていた。

本発明は、上記の課題に鑑みてなされたものであり、表示系と記録系とで異なった解像度、フレームレートの画像を同時に表示・記録する場合においても、バス上のトラフィックを増大させることなく実現できる撮像装置及び方法を提供することを目的とする。

本発明の撮像装置は、撮像デバイスから映像信号を取り込み、表示及び記録を行う撮像装置において、該映像信号に対して、表示系と記録系とで異なった画像処理を行い、異なった出力をする画像処理手段を備える。

本発明の撮像方法は、撮像デバイスから映像信号を取り込み、表示及び記録を行う撮像装置における撮像方法において、前記映像信号に対して、表示系と記録系とで異なった画
像処理を行い、異なった出力をする画像処理ステップを備える。

本発明によれば、表示系と記録系とで異なった解像度、フレームレートの画像を同時に表示・記録する場合においても、バス上のトラフィックを増大させることなく実現できる。

（第１の実施形態）
以下、図面を用いて本発明の一実施例について詳細に述べる。
図１は、第１の実施形態におけるハードウェア構成を示すブロック図である。
１０１は撮像デバイス、１０２は信号処理部、１０３は画像処理部、１０４は表示制御部、１０５はRGB形式のデータが表示可能な表示部、１０６はCPU、１０７は入力部、１０８はYUVフレームバッファ、１０９は圧縮/伸張部、１１０は二次記憶部、１１１はRGBフレームバッファ、１１２はRAM、１１３はROMである。

図２は、画像処理部１０３のより詳細なハードウェア構成を示すブロック図である。
まず、表示動作について述べる。
撮像デバイス１０１からのデータを受けて、信号処理部１０２はデータ変換を行い、CCIR規格準拠のYUV形式データに変換する。変換されたデータは画像処理部１０３へ入力される。

画像処理部１０３では、該入力されたYUV形式データをデータ入力部２０１で受けた後、表示データ・スケーリング部２０６へ送られる。表示データ・スケーリング部２０６では、予め設定されてある表示用解像度に従い、YUV形式データをリサイズ（解像度変換）する。

リサイズの方法は単純にデータを間引く方法とする。第3図にはリサイズの例を示す。
ここで、上段は時系列にデータ入力部２０１へ送られてくる画像データ列を示している。「Cb001」は座標（０，０）と（０，１）におけるCbデータ（8ビット）を、「Y00」は座標（０，０）におけるYデータ（8ビット）を、「Cr001」は座標（０，０）と（０，１）におけるCrデータ（8ビット）を表している。４：２：２の画像データであるため、４つのYデータと２つのCbデータ、２つのCrデータで4画素の色を表している。
下段は表示データ・スケーリング部２０１で横方向に1/２のスケーリングを行った場合に出力されるデータである。

座標（０，０）、（０，１）のデータを採用した後、座標（０，２）（０，３）のデータを捨て、次に座標（０，４）、（０，５）のデータを採用している。
このように単純にデータを間引くと画質は低下するものの処理が簡単になる。但し、この画質の低下に関しても表示データとして用いる場合はデータが次々と書き換えられて動画像が表示されることを考慮すれば問題となるものではない。

リサイズされたYUV形式データは選択回路２０７を通る。ここで、選択回路２０７はスケーリング部２０６からのデータと外部入力部２１０からのデータを選択的に色空間変換部２０８へ通過させる。いま、表示動作の場合は、スケーリング部２０６からのデータを通過させる。

色空間変換部２０８では、YUV形式データをRGB形式に変換する。
変換は以下の手順で行う。
まず、４：２：２データは直接RGBデータに変換できないため、４：４：４データに変換する。
これは４：２：２データでは二画素のYデータ（8ビット×２）に対して、割り当てられるCb、Crデータ（各8ビット）を、個々のYデータに割り当てることにより行う。即ち、
Cb00Y00Cr00Y01 → Cb00Cr00Y00 、 Cb00Cr00Y01
のように行う。

次にRGBデータに変換する。変換式については例えば以下の式が知られている。
R = Y ＋ 1.402Cr
G = Y − 0.714Cr − 0.344Cb
B = Y ＋ 1.772Cb

RGB形式に変換されたデータは、RGBデータDMA制御部２０９へ送られる。
RGBデータDMA制御部２０９では、DMA転送要求を行い、RGB形式データをRGBフレームバッファ１１１に転送する。

一方、表示制御部１０４は、表示部１０５に定められたタイミングに従い、RGBフレームバッファ１１１から順次RGB形式データをリードする。そして、表示部１０５に該RGB形式データを送ることにより、表示が行われる。

次に、記憶動作について述べる。
信号処理部１０２からのYUV形式データを受けた画像処理部１０３では、該YUV形式データをデータ入力部２０１で受けた後、フレームレート変換部２０２へ送る。
フレームレート変換部２０２では予め設定されてあるフレームレートに従い、YUV形式データのフレームレートを変換する。より具体的には、例えば信号処理部からの入力データのフレームレートが毎秒６０フレームであり、設定フレームレートが毎秒15フレームであった場合、データ4フレーム中の3フレームを捨て、1フレームのみを後段の記録データ・スケーリング部２０３に送る。

記録データ・スケーリング部２０３では送られたYUV形式データに対して予め設定してある解像度にリサイズを行う。
ここで、リサイズの方法は、近接画素との平均を取る方法で行う。
例えば、横方向に1/2のスケーリングを行う場合、以下のようになる。
newY00 ← （Y00 + Y01）/２
newY01 ← （Y02 + Y03）/２ ・・・（以下同様）
Cbデータ、Crデータも同様である。

上記方法でスケーリングを行った場合、処理は重くなるが、画質の低下は最小限に抑えることができる。
記録データ用途においては記録した後に再生をすることが前提であり、何度も繰り返しての再生や、スロー再生、静止画での再生などに耐えられる画質が求められる。従って、上記方法によるスケーリングが適当である。

次に、リサイズされたYUV形式データはフォーマット変換部２０４へ送られる。
ここでは、YUV形式データは４：２：２フォーマットから４：２：０フォーマットへと変換される。
これは通常、圧縮/伸張部１０９において扱われるデータ形式が４：２：０フォーマットのためである。

変換は、画像の縦方向のCb、Crデータを平均することにより行われる。例えば、
NewCb0101 ← （Cb001 ＋ Cb101）
ここで、Cb0101は座標（０，０）、（０，１）、（１，０）、（１，１）に対するCbデータであり、Cb001は座標（０，０）、（０，１）に対する座標データ、Cb101は座標（１，０）、（１，１）に対するCbデータである。

フォーマット変換されたデータはYUVデータDMA制御部２０５へ送られる。
YUVデータDMA制御部２０５では、DMA転送要求を行い、YUV形式データをYUVフレームバッファ１０８へ転送する。

一方、圧縮/伸張部１０９は予め設定されてあるレートに従い、YUVフレームバッファから順次YUV形式データをリードして、圧縮動作を行う。圧縮方法については、公知であるのでここでは述べない。

圧縮されたデータは、二次記憶部１１０へ送られる。
以上の動作により、表示部１０５へ表示するデータにおける解像度、フレームレートと、二次記憶部１１０へ記憶するデータにおける解像度、フレームレートを全く異なったものとすることが可能となる。

また、RGB形式のデータが表示可能となる。
さらに、二次記憶部１１０へ記憶してある圧縮動画像データを圧縮/伸張部１０９に順次リードし、伸張動作を行い、伸張データを外部入力部２１０へ送ることにより、予め圧縮されてあるデータを表示部１０５へ表示することも可能である。

ここで、伸張データは４：２：０フォーマットとなるため、外部入力部２１０では４：２：２フォーマットへの変換を行う。変換は1組のCb、Crデータを近接4画素に対して適用することにより行う。図６にその例を示す。

Cb0101、Cr0101はY00、Y01、Y10,Y11の4画素に対して1組割り当てられており、これを2組とすることで変換を行う。
以下、変換データを選択回路２０７を通り、色空間変換部２０８、RGBデータDMA制御部２０９へ送ることで、表示動作が行われる。

（第２の実施形態）
第１の実施形態では、画像処理部１０３からの表示用データの出力と記憶用データの出力は同じバスに接続されていたが、これを別のバスとする構成としてもよい。
図４は、第２の実施形態におけるハードウェア構成を示すブロック図である。
第１の実施形態に比して、表示系バス４０１が追加され、該バス上にRGBフレームバッファ１１１、表示制御部１０４及び表示部１０５が接続されている。
このように構成することで、さらにバス帯域を圧迫することなく表示動作と記録動作が行える効果がある。

さらに、CPU１０８は表示系バス４０１にもアクセス可能としてあるためCPU１０８が直接RGBフレームバッファ１１１へ書き込むことも可能であり、通常の画面描画に対しても何ら支障がない。

また、二次記憶部に記憶してある圧縮画像を伸張し表示する場合でも、圧縮/伸張部１０９及び画像処理部１０３を通り表示系バスへ出力され、RGBフレームバッファへライトされるので何ら支障はない。

以上の説明におけるプログラムを格納する記録媒体としては、ＲＯＭ、フレキシブルディスク、ＣＤ−ＲＯＭ、ハードディスク、メモリカード、光磁気ディスクなどを用いることができる。

また、本発明に係わるプログラムを格納した記録媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが、記録媒体に格納されたプログラムコードを読み出し実行することによっても、本発明は達成される。

本発明の第１の実施形態におけるハードウェア構成ブロック図である。 本発明の第１の実施形態における画像処理部のより詳細なハードウェア構成ブロック図である。 本発明の第１の実施形態における表示用データのリサイズ方法を示した図である。 本発明の第２の実施形態におけるハードウェア構成ブロック図である。 従来技術におけるハードウェア構成ブロック図である。 本発明の第１の実施形態におけるフォーマット変換の例を示した図である。

符号の説明

１０１ 撮像デバイス
１０２ 信号処理部
１０３ 画像処理部
１０４ 表示制御部
１０５ 表示部
１０６ CPU
１０７ 入力部
１０８ YUVフレームバッファ
１０９ 圧縮／伸張部
１１０ 二次記憶部
１１１ RGBフレームバッファ
１１２ RAM
１１３ ROM
１１４ バス

Claims (16)

1. 撮像デバイスから映像信号を取り込み、表示及び記録を行う撮像装置において、
   前記映像信号に対して、表示系と記録系とで異なった画像処理を行い、異なった出力をする画像処理手段を備えたことを特徴とする撮像装置。
2. 上記画像処理手段は、表示系と記録系の各々に対して解像度変換手段を備えた手段であることを特徴とする請求項１に記載の撮像装置。
3. 上記各々の解像度変換手段は異なった変換手段とすることを特徴とする請求項２に記載の撮像装置。
4. 上記各々の解像度変換手段は、表示系が間引きによる変換手段であり、記録系が平均をとることによる変換手段であることを特徴とする請求項３に記載の撮像装置。
5. 上記画像処理手段は、表示系と記録系とで異なったフレームレートの信号を出力する手段を備えたことを特徴とする請求項１に記載の撮像装置。
6. 上記画像処理手段は、色空間変換手段を備えた手段であることを特徴とする請求項１に記載の撮像装置。
7. 上記画像処理手段の出力は、各々異なったバス上に出力されることを特徴とする請求項１に記載の撮像装置。
8. 撮像デバイスから映像信号を取り込み、表示及び記録を行う撮像装置における撮像方法において、
   前記映像信号に対して、表示系と記録系とで異なった画像処理を行い、異なった出力をする画像処理ステップを備えたことを特徴とする撮像装置の操作方法。
9. 上記画像処理ステップは、表示系と記録系との各々に対して解像度変換を実行する解像度変換ステップであることを特徴とする請求項８に記載の撮像装置の操作方法。
10. 上記各々の解像度変換ステップは、異なった変換ステップであることを特徴とする請求項９に記載の撮像装置の操作方法。
11. 上記各々の解像度変換ステップは、表示系が間引きによる変換ステップであり、記録系が平均をとることによる変換ステップであることを特徴とする請求項１０に記載の撮像装置の操作方法。
12. 上記画像処理ステップは、表示系と記録系とで異なったフレームレートの信号を出力するステップであることを特徴とする請求項８に記載の撮像装置の操作方法。
13. 上記画像処理ステップは、色空間変換ステップを備えたステップであることを特徴とする請求項８に記載の撮像装置の操作方法。
14. 上記画像処理ステップの出力は、各々異なったバス上に出力されることを特徴とする請求項８に記載の撮像装置の操作方法。
15. コンピュータに、請求項８に記載の方法の各ステップを実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
16. コンピュータに、請求項８に記載の方法の各ステップを実行させるためのプログラム。

Images