JP2005159596A - Digital camera - Google Patents
Digital camera Download PDFInfo
- Publication number
- JP2005159596A JP2005159596A JP2003393402A JP2003393402A JP2005159596A JP 2005159596 A JP2005159596 A JP 2005159596A JP 2003393402 A JP2003393402 A JP 2003393402A JP 2003393402 A JP2003393402 A JP 2003393402A JP 2005159596 A JP2005159596 A JP 2005159596A
- Authority
- JP
- Japan
- Prior art keywords
- processing circuit
- memory
- image data
- image
- digital camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、動画像撮影可能なデジタルカメラに関する。 The present invention relates to a digital camera capable of capturing moving images.
動画像を撮影可能なデジタルカメラが存在する。CCDセンサから連続的に出力される画像データは、圧縮処理が行われ圧縮動画像データとして記録される。このような圧縮処理を行うために、多くのデジタルカメラでは動画圧縮処理用の専用LSIチップを備えている。 There are digital cameras that can shoot moving images. Image data continuously output from the CCD sensor is compressed and recorded as compressed moving image data. In order to perform such compression processing, many digital cameras include a dedicated LSI chip for moving image compression processing.
MPEG等の動画圧縮処理を行うためには、8×8画素のブロック単位で処理を実行する必要があり、このようなブロック画像を格納するためのフレーム領域を持ったメモリが必要となる。そこで、動画処理用の専用LSIチップは、圧縮処理時にバッファ領域として使用するためのSDRAM等のメモリを備えていた。さらに、デジタルカメラの全体制御を行うための回路にもメモリが必要である。したがって、従来のデジタルカメラでは、メイン処理回路用と動画処理用の両方がそれぞれメモリを備える構成となっていた。 In order to perform moving image compression processing such as MPEG, it is necessary to execute processing in units of blocks of 8 × 8 pixels, and a memory having a frame area for storing such block images is required. Therefore, a dedicated LSI chip for moving image processing includes a memory such as an SDRAM for use as a buffer area during compression processing. Furthermore, a memory is also required for a circuit for performing overall control of the digital camera. Therefore, in the conventional digital camera, both the main processing circuit and the moving image processing are each provided with a memory.
そこで、デジタルカメラのコストを低くするために、以下のような技術が存在する。下記特許文献1では、圧縮処理時にラインメモリを使用する技術が開示されている。これにより、フレームメモリを使用する場合と比較してコストを低くするようにしている。また、下記特許文献2では、SDRAMのデータ信号線とFlashROMのアドレス信号線とを兼用させることにより、メモリコントローラのピン数を少なくする技術が開示されている。
In order to reduce the cost of the digital camera, the following techniques exist. Japanese Patent Application Laid-Open No. 2004-228561 discloses a technique that uses a line memory during compression processing. Thereby, the cost is reduced as compared with the case of using the frame memory.
上述したようなメイン処理回路と動画処理用回路の両方がSDRAM等のメモリを備える構成は、コストが高いという問題があった。また、SDRAM等のメモリを複数駆動させるため、消費電力が大きいという問題もあった。 The configuration in which both the main processing circuit and the moving image processing circuit as described above include memories such as SDRAM has a problem of high cost. In addition, since a plurality of memories such as SDRAM are driven, there is a problem that power consumption is large.
上記特許文献1の技術では、ラインメモリを使用することである程度のコストを削減することができるが、やはりメイン処理回路に接続されるメモリとは別のメモリを必要としている。また、上記特許文献2の技術においても複数のメモリが必要となることには変わりない。
In the technique of the above-mentioned patent document 1, a certain amount of cost can be reduced by using a line memory, but a memory different from the memory connected to the main processing circuit is also required. Further, the technique of
そこで、本発明は前記問題点に鑑み、動画像撮影可能なデジタルカメラにおいて、メモリの個数を減らし、コスト削減と消費電力の低減を実現することを目的とする。 In view of the above problems, an object of the present invention is to reduce the number of memories in a digital camera capable of capturing moving images, thereby realizing cost reduction and power consumption reduction.
上記課題を解決するため、請求項1記載の発明は、動画像を撮影可能なデジタルカメラであって、メイン処理回路と、前記メイン処理回路に接続されたメモリと、動画処理回路と、を備え、前記メイン処理回路は、センサから入力した画像データを前記動画処理回路に出力する第1インタフェースと、第1DMAインタフェースと、を備え、前記動画処理回路は、前記メイン処理回路から出力された画像データを入力する第2インタフェースと、前記第1DMAインタフェースと接続される第2DMAインタフェースと、前記第2インタフェースを介して入力した画像データを圧縮して動画像データを生成する画像圧縮回路と、DMAコントローラと、を備え、前記第1および第2インタフェースを介して前記動画処理回路に転送された画像データが前記画像圧縮回路において圧縮処理される際、前記DMAコントローラが、前記第1および第2DMAインタフェースを介して前記メモリにアクセスすることにより、前記メモリをバッファとして使用することを特徴とする。 In order to solve the above-mentioned problem, the invention described in claim 1 is a digital camera capable of capturing a moving image, and includes a main processing circuit, a memory connected to the main processing circuit, and a moving image processing circuit. The main processing circuit includes a first interface for outputting image data input from a sensor to the moving image processing circuit, and a first DMA interface, and the moving image processing circuit outputs image data output from the main processing circuit. A second DMA interface connected to the first DMA interface, an image compression circuit for compressing image data input via the second interface to generate moving image data, a DMA controller, And transferred to the moving image processing circuit via the first and second interfaces. When over data is compressed in the image compression circuit, the DMA controller, by accessing the memory via the first and second 2DMA interface, characterized by using said memory as a buffer.
請求項2記載の発明は、動画像を撮影可能なデジタルカメラであって、メイン処理回路と、前記メイン処理回路に接続されたメモリと、動画処理回路と、を備え、前記メイン処理回路は、センサから入力した画像データを前記動画処理回路に出力する第1インタフェースと、メモリエミュレーション回路と、を備え、前記動画処理回路は、前記メイン処理回路から出力された画像データを入力する第2インタフェースと、前記第2インタフェースを介して入力した画像データを圧縮して動画像データを生成する画像圧縮回路と、前記メモリエミュレーション回路に接続されるメモリコントローラと、を備え、前記第1および第2インタフェースを介して前記動画処理回路に転送された画像データが前記画像圧縮回路において圧縮処理される際、前記メモリコントローラが、前記メモリエミュレーション回路を介して前記メモリにアクセスすることにより、前記メモリをバッファとして使用することを特徴とする。
The invention according to
請求項3記載の発明は、動画像を撮影可能なデジタルカメラであって、メイン処理回路と、前記メイン処理回路に接続されたメモリと、動画処理回路と、を備え、前記メイン処理回路は、センサから入力した画像データを前記動画処理回路に出力する第1インタフェースと、セレクタと、を備え、前記動画処理回路は、前記メイン処理回路から出力された画像データを入力する第2インタフェースと、前記第2インタフェースを介して入力した画像データを圧縮して動画像データを生成する画像圧縮回路と、前記セレクタに接続されるメモリコントローラと、を備え、前記セレクタは、前記メモリコントローラを経由して行われる前記動画処理回路からの前記メモリに対するアクセスと、前記メイン処理回路内のメモリバスを経由して行われる前記メモリに対するアクセスとを選択的に許可する回路であり、前記第1および第2インタフェースを介して前記動画処理回路に転送された画像データが前記画像圧縮回路において圧縮処理される際、前記メモリコントローラが、前記セレクタを介して前記メモリにアクセスすることにより、前記メモリをバッファとして使用することを特徴とする。 The invention according to claim 3 is a digital camera capable of capturing a moving image, and includes a main processing circuit, a memory connected to the main processing circuit, and a moving image processing circuit. A first interface for outputting image data input from a sensor to the moving image processing circuit; and a selector; the moving image processing circuit; a second interface for inputting image data output from the main processing circuit; An image compression circuit for compressing image data input via the second interface to generate moving image data; and a memory controller connected to the selector. Access to the memory from the moving picture processing circuit and via a memory bus in the main processing circuit. A circuit that selectively permits access to the memory, and the memory controller when the image data transferred to the moving image processing circuit via the first and second interfaces is compressed by the image compression circuit. However, the memory is used as a buffer by accessing the memory via the selector.
請求項4記載の発明は、請求項1ないし請求項3のいずれかに記載のデジタルカメラにおいて、前記メイン処理回路は、前記センサから入力した画像データに所定の画像処理を施す画像処理回路と、表示装置に対して画像表示処理を実行する表示処理回路と、前記画像処理回路と前記表示処理回路との間に介装される複数のラインメモリと、を備え、前記動画処理回路が前記メモリを使用して圧縮処理を実行している際、前記メイン処理回路のメモリバスを使用することなく、前記画像処理回路から1水平ライン単位で出力される画像データを前記複数のラインメモリ経由で前記表示処理回路に転送することにより、圧縮処理と平行して、前記センサから連続的に出力される画像を前記表示装置に表示することを特徴とする。 According to a fourth aspect of the present invention, in the digital camera according to any one of the first to third aspects, the main processing circuit includes: an image processing circuit that performs predetermined image processing on image data input from the sensor; A display processing circuit that executes an image display process on the display device, and a plurality of line memories interposed between the image processing circuit and the display processing circuit, wherein the moving image processing circuit stores the memory When executing compression processing using the image processing circuit, the image data output in units of one horizontal line from the image processing circuit is displayed via the plurality of line memories without using the memory bus of the main processing circuit. By transferring to the processing circuit, the image continuously output from the sensor is displayed on the display device in parallel with the compression processing.
請求項5記載の発明は、請求項4に記載のデジタルカメラにおいて、前記画像処理回路から前記ラインメモリに出力される画像データは、前記表示装置の表示サイズにあわせて解像度変換されたデータであることを特徴とする。 According to a fifth aspect of the present invention, in the digital camera according to the fourth aspect, the image data output from the image processing circuit to the line memory is data whose resolution has been converted in accordance with the display size of the display device. It is characterized by that.
請求項6記載の発明は、請求項4に記載のデジタルカメラにおいて、さらに、前記複数のラインメモリから出力された画像データを解像度変換する回路、を備えることを特徴とする。 According to a sixth aspect of the present invention, in the digital camera according to the fourth aspect of the present invention, the digital camera further includes a circuit for converting the resolution of image data output from the plurality of line memories.
請求項7記載の発明は、請求項4ないし請求項6のいずれかに記載のデジタルカメラにおいて、前記表示装置の1フレームの表示周期を、前記センサの1フレーム出力周期に一致させたことを特徴とする。 According to a seventh aspect of the present invention, in the digital camera according to any one of the fourth to sixth aspects, the display cycle of one frame of the display device is made to coincide with the one-frame output cycle of the sensor. And
請求項8記載の発明は、請求項4ないし請求項7のいずれかに記載のデジタルカメラにおいて、前記表示装置がLCD(液晶表示装置)の場合には、請求項4ないし請求項7のいずれかに記載の手順によりLCDに画像を表示させ、前記表示装置がテレビの場合には、前記メモリをバッファとして使用してテレビに画像を表示させることを特徴とする。 According to an eighth aspect of the present invention, in the digital camera according to any one of the fourth to seventh aspects, when the display device is an LCD (liquid crystal display device), any one of the fourth to seventh aspects. An image is displayed on the LCD according to the procedure described in the above, and when the display device is a television, the image is displayed on the television using the memory as a buffer.
請求項9記載の発明は、デジタルカメラであって、センサから入力した画像データに所定の画像処理を施す画像処理回路と、表示装置に対して画像表示処理を実行する表示処理回路と、前記画像処理回路と前記表示処理回路との間に介装される複数のラインメモリと、メモリインタフェースと、前記メモリインタフェースに対してメモリ制御信号を転送するメモリバスと、を備え、前記メモリバスを使用することなく、前記画像処理回路から1水平ライン単位で出力される画像データを前記複数のラインメモリ経由で前記表示処理回路に転送することにより、前記センサから連続的に出力される画像を前記表示装置に表示することを特徴とする。 The invention according to claim 9 is a digital camera, wherein an image processing circuit that performs predetermined image processing on image data input from a sensor, a display processing circuit that executes image display processing on a display device, and the image A plurality of line memories interposed between a processing circuit and the display processing circuit, a memory interface, and a memory bus for transferring a memory control signal to the memory interface, and using the memory bus Without transferring the image data output in units of one horizontal line from the image processing circuit to the display processing circuit via the plurality of line memories, the image continuously output from the sensor is displayed on the display device. It is characterized by displaying.
請求項1ないし請求項3に記載の発明によれば、動画処理時にはメイン処理回路のメモリをバッファとして使用するので、メイン処理回路と動画処理回路とがメモリを共有することが可能であり、コスト低減と消費電力の低減が可能となる。 According to the first to third aspects of the invention, since the memory of the main processing circuit is used as a buffer at the time of moving image processing, the main processing circuit and the moving image processing circuit can share the memory, and the cost is reduced. Reduction and power consumption can be reduced.
請求項4ないし請求項8に記載の発明によれば、メイン処理回路と動画処理回路とがメモリを共有することを可能としたうえで、画像表示処理によるメモリバスの使用帯域を低減させているので、動画圧縮処理と平行して画像表示処理を実行することが可能である。
According to the invention described in
請求項9記載の発明によれば、メモリバスの使用帯域を低減させながら画像表示処理を行うことが可能である。 According to the ninth aspect of the present invention, it is possible to perform image display processing while reducing the use band of the memory bus.
以下、図面を参照しつつ本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
{第1の実施の形態}
図1は、第1の実施の形態にかかるデジタルカメラ1のブロック図である。デジタルカメラ1は、動画像を撮影可能としたデジタルスチルカメラである。デジタルカメラ1は、センサ2、メイン処理回路3、動画処理回路4、メモリ5、LCD6、テレビ出力用インタフェース7を備えている。
{First embodiment}
FIG. 1 is a block diagram of a digital camera 1 according to the first embodiment. The digital camera 1 is a digital still camera that can capture a moving image. The digital camera 1 includes a
メイン処理回路3および動画処理回路4は、LSIとして構成されており、これらLSIが基板上に装着されている。メイン処理回路3は、デジタルカメラ1の全体制御を行うCPU303を含んでおり、センサ2を制御して画像を入力し、入力した画像に各種の画像処理を施す機能を備えている。また、動画処理回路4は、動画像を圧縮する機能などを含み、動画像を処理するための専用LSIである。
The main processing circuit 3 and the moving
センサ2は、CCD撮像センサであり、光学機構を透過した被写体からの光を受光して光電変換し、アナログ画像信号を出力する。なお、CCD撮像センサの代わりにCMOS撮像素子を採用しても構わない。メモリ5は、各種処理におけるバッファ領域として使用されたり、静止画像や動画像の格納用に用いられたりする。LCD6は、たとえば、デジタルカメラ1の本体背面側に設けられ、メモリ5に格納されている静止画像や動画像を表示するほか、センサ2が出力する画像をリアルタイムで連続的に表示するLiveView用としても用いられる。また、テレビ出力用インタフェース7をテレビに接続することにより、テレビ画面に対してもメモリ5に格納されている静止画像や動画像を表示させることや、LiveViewを行うことが可能である。
The
センサ2から出力されたアナログ画像信号は、ゲイン調整などを行うアナログ信号処理回路(図示せず)を経由した後、A/D変換回路(図示せず)において所定の量子化レベルでA/D変換され、デジタル画像信号(原画像データ;Raw Image Data)としてメイン処理回路3に出力される。
The analog image signal output from the
メイン処理回路3に出力された原画像データは、メイン処理回路3が備えるSPU(Signal Processing Unit)301に入力される。SPU301は、デジタル画像信号に欠陥画素補正などの前処理を施した後に、バス300或いはRPU(Real Time Processing Unit)302に出力する。RPU302は、SPU301から入力する画像信号に対して、シェーディング補正処理、画素補間処理、ガンマ補正処理、色空間変換処理、輪郭強調処理及び解像度変換処理などの種々のデジタル画像処理をリアルタイムに実行する機能を有している。SPU301やRPU302がバス300に出力した信号は、たとえば静止画像の撮影処理の場合には、CPU303の制御によってMIU(Memory Interface Unit)304を介してメモリ5に格納することができる。なお、バス300を介したデータ転送は、CPU303の代わりにDMAC(DMAコントローラ)306で行われてもよい。なお、MIUは、DMAやCPUがメモリバス上に送出する内部のメモリ制御信号を、外部に接続されたメモリにアクセスするための信号に変換して出力する。
The original image data output to the main processing circuit 3 is input to an SPU (Signal Processing Unit) 301 included in the main processing circuit 3. The SPU 301 performs preprocessing such as defective pixel correction on the digital image signal, and then outputs the digital image signal to a
一方、動画像の撮影時には、SPU301やRPU302を介してバス300に連続的に出力される画像データが、順次、YUVインタフェース305より動画処理回路4に転送される。なお、本実施の形態においては、センサ2から出力されメイン処理回路3に入力される原画像データはRGBの画像データであるが、RPU302における色空間変換処理によって、RGBの画像データがYUVの画像データに変換されており、このYUV画像データがYUVインタフェース305より出力される。
On the other hand, when shooting a moving image, image data continuously output to the
動画処理回路4においては、YUVインタフェース405が順次転送される画像データを受信する。そして、このYUV画像データがエンコーダ・デコーダユニット401に転送されて圧縮処理が実行される。この圧縮処理が実行される際、圧縮用画像のバッファとして、あるいは圧縮処理途中のデータのバッファ(ワークメモリ領域)として、あるいは、圧縮終了後のデータのバッファとしてメモリが必要となる。本発明は、これらの目的のためにメイン処理回路3に接続されたメモリ5を使用する。
In the moving
メモリ5を使用するために、DMAC406はメモリ5に対する制御信号を送信する。この制御信号にはアドレス信号やデータ信号が含まれる。この制御信号はDMAインタフェース407を介して、そのままメイン処理回路3のDMAインタフェース307に転送される。DMAインタフェース307は、バス300に対する制御権を得た上で、MIU(Memory Interface Unit)を介してメモリ5にアクセスするのである。このようにして、動画処理回路4は圧縮処理時のバッファとしてメモリ5を使用することが可能である。
In order to use the
エンコーダ・デコーダユニット401が。メモリ5をバッファとして使用しながら圧縮処理を実行し、圧縮動画像データが生成されると、マイクロシーケンサ402においてシーケンス処理が行われる。つまり、圧縮動画像データとPCMオーディオコーデックインタフェース404より入力した圧縮音声データとのシーケンス処理が行われて、音声付の動画像データが生成されるのである。なお、マイクロシーケンサ402は、ローカルメモリ403を利用してシーケンス処理を実行する。
An encoder /
このように、本実施の形態によれば、エンコーダ・デコーダユニット401において動画像の圧縮処理が行われる際には、バッファとしてメイン処理回路3に接続されたメモリ5を使用するので、動画処理回路4にはSDRAMなどのメモリを持たせる必要がない。本実施の形態における動画処理回路4は、マイクロシーケンサ402が使用するローカルメモリ403を備えているが、このメモリは、動画像圧縮処理用のバッファメモリと比べると小容量のメモリで充分である。つまり、メイン処理回路3と動画処理回路4とでSDRAM等のメモリ5を共用することにより、システム個数が少なくなり、製造コストを軽減させることが可能である。また、SDRAM等のメモリ5の個数を減らすことで消費電力を軽減させることが可能である。
As described above, according to the present embodiment, when moving image compression processing is performed in the encoder /
次に、LiveViewについて説明する。上述したような動画像の圧縮処理を実行しつつ、本実施の形態のデジタルカメラ1は、LCD6に対してリアルタイムで動画像を表示させることが可能である。ただし、上記圧縮処理を実行している間、動画処理回路4がメモリ5にアクセスするため、このメモリ5のアクセスによってバス300上にデータが流れることとなる。したがって、メイン処理回路3は、LiveViewを行う際にはなるべくバス300にデータを流さないように以下のような処理を行う。
Next, LiveView will be described. The digital camera 1 according to the present embodiment can display a moving image on the
上記圧縮処理で説明したように、センサ2から出力された原画像データは、SPU301を経由してRPU302に入力され、各種の画像処理が実行される。次に、RPU302は、表示用に解像度を低下させた画像データを出力する。たとえば、センサ2が、水平方向2560ドット、垂直方向1920ラインの500万画素クラスのCCD撮像センサであり、LCD6が、水平方向320ドット、垂直方向240ラインのQVGA(Quarter VGA)のLCDである場合には、RPU302は、表示用として2560×1920ピクセルの画像データを320×240ピクセルの画像データに縮小する。さらに、RPU302は、解像度変換した画像データを水平方向の1ラインずつ出力する。つまり、RPU302において所定の画像処理が行われた画像データは、一方では、2560×1920ピクセルの画像データとしてYUVインタフェース405を介して動画用処理回路4に転送され、他方では、解像度変換された後、水平1ラインずつ出力されるのである。
As described in the compression process, the original image data output from the
RPU302から出力された水平1ラインの画像データは、セレクタ313を介して、まず、ラインメモリ311に入力される。そして、次のクロックにおいて、RPU302から次の水平1ライン分の画像データが出力され、その画像データがセレクタ313を介してラインメモリ312に入力されるとともに、ラインメモリ311に格納されていた水平1ラインの画像データがセレクタ314を介してセレクタ315に対して出力される。このLCD6に対するLiveViewモードにおいては、セレクタ315は、セレクタ314からの入力信号を出力する。したがって、ラインメモリ311から出力された1水平ラインの画像データはIDU(Image Display Unit)308に入力される。
Image data of one horizontal line output from the
このような処理を繰り返し、RPU302から次々に出力される1水平ラインの画像データが交互にラインメモリ311とラインメモリ312に入力され、ラインメモリ311に画像データが入力されるタイミングでは、ラインメモリ312から画像データが出力され、ラインメモリ312に画像データが入力されるタイミングでは、ラインメモリ311から画像データから出力されることにより、RPU302から出力された表示用の画像データは、バス300を経由することなくIDU308に転送される。そして、IDU308は、LCD6に対して画像を表示させるのである。
Such processing is repeated, and image data of one horizontal line sequentially output from the
このように、本実施の形態においては、メイン処理回路3と動画用処理回路4とがメモリ5を共用することで、システムコストを低減させるとともに、LiveViewを行う際には、メイン処理回路3内でメモリバスに流れるデータを少なくすることにより、動画像の圧縮処理中であっても、LiveViewをスムーズに行うことが可能である。
As described above, in this embodiment, the main processing circuit 3 and the moving
ここで、上記のように、ラインメモリ311,312を利用してLCD6に対するLiveViewを行うためには、センサ2の1フレーム周期とLCD6の1フレーム周期が一致していることが条件である。そして、本発明においては、センサ2とLCD6のフレーム周期が異なる場合には、LCD6の駆動周波数を変更してフレーム周期をセンサ2のフレーム周期に合わせるようにする。
Here, in order to perform LiveView on the
さらに、上記のように2つのラインメモリ311,312を利用してLiveViewを行うためには、フレーム周期が同じであることに加えて、センサ2とLCD6の1水平ライン周期も一致している必要がある。
Furthermore, in order to perform LiveView using the two
しかし、上記の実施の形態においては、RPU302がラインメモリ311,312に対して出力する画像データは、LCD6の表示サイズにあわせて解像度変換をしたデータである。したがって、RPU302が解像度変換を行う上記の実施の形態においては、RPU302が1水平ラインの画像データを出力するタイミングをLCD6の水平ライン周期に合わせることで、この条件は満たされる。
However, in the above embodiment, the image data output from the
これに対して、RPU302が解像度変換を行わない場合、つまり、センサ2の出力画像データサイズでそのままRPU302が画像データを出力する場合において、ラインメモリを使用してLiveViewを行う実現方法を図2を参照しながら説明する。
On the other hand, when the
図2のように、この実現方法においては、N個のラインメモリ311−1,311−2,・・・311−Nと、N個のラインメモリ312−1,312−2,・・・312−Nとを使用する。また、各ラインメモリから出力したデータを解像度変換する解像度変換部316を備える。その他のデジタルカメラ1の構成は図1で示したものと同様である。
As shown in FIG. 2, in this realization method, N line memories 311-1, 311-2,... 311-N and N line memories 312-1, 312-2,. Use -N. Also, a
たとえば、センサ2の出力画像の水平ライン数がa×N個(a,Nは整数)であり、LCD6の水平ライン数がa×M個(Mは整数)であるとする。この場合、ライン数をM/N個に間引く必要がある。
For example, it is assumed that the number of horizontal lines of the output image of the
そこで、まず、RPU302から出力された最初のN個の水平ラインの画像データがラインメモリ311−1,311−2,・・・311−Nに入力される。次のクロックにおいて、次のN個の水平ラインの画像データがラインメモリ312−1,312−2,・・・312−Nに入力されるとともに、ラインメモリ311−1,311−2,・・・311−Nに入力されていた最初のN個の水平ラインの画像データが解像度変換部316に入力される。そこで、水平方向のライン数がM個となるように変換処理が行われる。この変換処理は特に限定されるものではないが、たとえばバイリニア処理を実行すればよい。また、水平1ラインの画素数もバイリニア処理等により間引かれてLCD6の1ラインの画素数にあわせる処理が行われる。
Therefore, first, the image data of the first N horizontal lines output from the
以上の処理をN個のラインメモリ311−1,311−2,・・・311−Nと、N個のラインメモリ312−1,312−2,・・・312−Nを使用して、交互に処理することにより、ライン数M個の画像データを交互にIDU308に出力する。これにより、RPU302が解像度変換を行わない場合にも、バス300を使用することなく、ラインメモリを使用してLiveViewを行うことが可能である。
The above processing is performed alternately using N line memories 311-1, 311-2,... 311-N and N line memories 312-1, 312-2,. In this way, image data of M lines is alternately output to the
次に、テレビ出力の場合について説明する。テレビ画面に出力する場合には、LCDと異なりテレビの表示周波数を変更するというわけにはいかない。また、テレビの1水平ライン周期は63.5μsであるが、このような高速な1水平周期を備えるセンサが存在しないのが実情である。このため、上記実施の形態のように、ラインメモリを使用して解像度変換を行ってテレビに対してLiveViewを行うことは現実的ではない(もちろん、テレビと同じフレーム周期で動作し、同じ1水平ライン周期で動作するセンサが存在すれば、上述したLCDに対するLiveViewと同じ処理をテレビ出力に対して行ってもよい。)。そこで、本実施の形態においては、テレビにLiveViewを行う場合には、図3で示したように、メモリ5をバッファ領域として使用することとする。
Next, the case of television output will be described. When outputting to a television screen, unlike the LCD, the display frequency of the television cannot be changed. Further, although one horizontal line period of a television is 63.5 μs, there is actually no sensor having such a high speed one horizontal period. For this reason, it is not realistic to perform resolution conversion using a line memory and perform LiveView on the television as in the above embodiment (of course, it operates at the same frame period as the television and the same one horizontal). If there is a sensor that operates in a line cycle, the same processing as LiveView for the LCD described above may be performed on the television output. Therefore, in the present embodiment, when LiveView is performed on a television, the
図3に示すように、RPU302から出力された画像データは、メモリ5のバッファ81に格納される。次に、RPU302から出力された画像データは、メモリ5のバッファ82に格納されるとともに、バッファ81に格納されている画像データがセレクタ315を介してIDU308に転送される。テレビ出力モードの場合には、セレクタ315は、バス300から入力するデータをIDU308に出力するようにしている。
As shown in FIG. 3, the image data output from the
さらに、次のタイミングでは、再び、RPU302から出力された画像データは、メモリ5のバッファ81に格納されるとともに、バッファ82に格納されている画像データがセレクタ315を介してIDU308に転送される。このような処理を繰り返すことにより、画像データが順次IDU308に転送される。IDU308に転送されたデータは、次に、TVエンコーダ309においてNTSC方式などの画像データに変換された後、DAC310においてアナログ信号に変換された後、テレビ出力インタフェース7を介してテレビに出力されるのである。
Further, at the next timing, the image data output from the
このようにテレビ出力の際には、表示用の画像データがバス300を使用することとなるが、一般に、動画像を撮影する際に、ケーブルをテレビに接続し、LiveViewをテレビ画面で行うということはあまり行われないと考えられる。つまり、バス300上にLiveView用のデータと動画処理用のデータが流れるケースはまれであると考えられるので、実用上の問題の少ない構成としている。
In this way, when outputting to the television, the image data for display uses the
なお、図に示したように、動画用処理回路4はMIU408を備え、メモリインタフェース用のポート409を備えているので、動画用処理回路4に外部メモリを接続することも可能な形態となっている。
As shown in the figure, since the moving
{第2の実施の形態}
次に、図4を参照しつつ本発明の第2の実施の形態について説明する。第2の実施の形態については、第1の実施の形態と同様の構成および処理については説明を省略し、特徴部分のみ説明する。また、図4において第1の実施の形態と同様の構成については同一の符号を付している。
{Second Embodiment}
Next, a second embodiment of the present invention will be described with reference to FIG. In the second embodiment, the description of the same configuration and processing as in the first embodiment is omitted, and only the characteristic part is described. In FIG. 4, the same reference numerals are given to the same components as those in the first embodiment.
第2の実施の形態におけるデジタルカメラ1において、メイン処理回路3は、メモリエミュレーション回路317を備えている。たとえば、メモリ5がSDRAMである場合には、SDRAMエミュレーション回路が用いられる。そして、動画処理回路4のMIU408からの出力ラインが分岐し、分岐したラインがメモリエミュレーション回路317に接続されている。また、メイン処理回路3および動画用処理回路4は、DMAインタフェースを備えていない。
In the digital camera 1 according to the second embodiment, the main processing circuit 3 includes a
第1の実施の形態と同様の処理により、画像データが動画処理回路4に転送されると、エンコーダ・デコーダユニット401において圧縮処理が実行される。ここで、DMAC406がメモリ5に対する制御信号を送出すると、この制御信号がMIU408に転送される。この制御信号にはアドレス信号とデータ信号とが含まれる。そして、MIU408はメモリ5に対する制御信号を出力する。
When the image data is transferred to the moving
MIU408から出力された制御信号は、メモリエミュレーション回路317に入力される。メモリエミュレーション回路317は、MIU408に対してメモリ5と同様の動作を行う。これにより、MIU408はメモリ5にアクセスしているのと同様の処理を実行する。一方、メモリエミュレーション回路317は、バス300の制御権を得た上で、メモリ5に対してデータを書き込む処理や、メモリ5からデータを読み出す処理を行う。
The control signal output from the
このようにして、エンコーダ・デコーダユニット401が圧縮処理を実行する際には、メモリ5にアクセスし、メモリ5をバッファとして使用するのである。このように、第2の実施の形態においても同様に、メイン処理回路3と動画用処理回路4とでメモリ5を共用させることが可能である。また、LCD6に対するLiveViewも第1の実施の形態と同様の処理により行われ、バス300の帯域を確保するようにしている。
Thus, when the encoder /
{第3の実施の形態}
次に、図5を参照しつつ本発明の第3の実施の形態について説明する。第3の実施の形態については、第1の実施の形態と同様の構成および処理については説明を省略し、特徴部分のみ説明する。また、図5において第1の実施の形態と同様の構成については同一の符号を付している。
{Third embodiment}
Next, a third embodiment of the present invention will be described with reference to FIG. In the third embodiment, the description of the same configuration and processing as in the first embodiment is omitted, and only the characteristic part is described. In FIG. 5, the same reference numerals are given to the same configurations as those in the first embodiment.
第3の実施の形態におけるデジタルカメラ1において、メイン処理回路3は、MIU304の出力データを入力するセレクタ318を備えている。また、動画処理回路4のMIU408からの出力ラインが分岐され、この分岐されたラインもセレクタ318に接続されている。つまり、セレクタ318は、MIU304,408を選択的にメモリ5に接続することが可能である。また、メイン処理回路3および動画用処理回路4は、DMAインタフェースを備えていない。
In the digital camera 1 according to the third embodiment, the main processing circuit 3 includes a
第1の実施の形態と同様の処理により、画像データが動画処理回路4に転送されると、エンコーダ・デコーダユニット401において圧縮処理が実行される。ここで、DMAC406がメモリ5に対する制御信号を送出すると、この制御信号がMIU408に転送される。この制御信号にはアドレス信号とデータ信号とが含まれる。そして、MIU408はメモリ5に対する制御信号を出力する。
When the image data is transferred to the moving
MIU408から出力された制御信号は、セレクタ318に入力される。セレクタ318は、MIU304とMIU408がメモリ5にアクセスするのを調停する機能を備えている。これにより、DMAC406はMIU408を介してメモリ5にアクセス可能となり、エンコーダ・デコーダユニット401が圧縮処理を実行する際には、メモリ5にアクセスし、メモリ5をバッファとして使用するのである。このように、第2の実施の形態においても同様に、メイン処理回路3と動画用処理回路4とでメモリ5を共用させることが可能である。また、LCD6に対するLiveViewも第1の実施の形態と同様の処理により行われ、バス300の帯域を確保するようにしている。
The control signal output from the
1 デジタルカメラ
2 センサ
3 メイン処理回路
4 動画処理回路
5 メモリ
6 LCD
7 テレビ出力用ライン
1
7 TV output line
Claims (9)
メイン処理回路と、
前記メイン処理回路に接続されたメモリと、
動画処理回路と、
を備え、
前記メイン処理回路は、
センサから入力した画像データを前記動画処理回路に出力する第1インタフェースと、
第1DMAインタフェースと、
を備え、
前記動画処理回路は、
前記メイン処理回路から出力された画像データを入力する第2インタフェースと、
前記第1DMAインタフェースと接続される第2DMAインタフェースと、
前記第2インタフェースを介して入力した画像データを圧縮して動画像データを生成する画像圧縮回路と、
DMAコントローラと、
を備え、
前記第1および第2インタフェースを介して前記動画処理回路に転送された画像データが前記画像圧縮回路において圧縮処理される際、前記DMAコントローラが、前記第1および第2DMAインタフェースを介して前記メモリにアクセスすることにより、前記メモリをバッファとして使用することを特徴とするデジタルカメラ。 A digital camera capable of shooting moving images,
A main processing circuit;
A memory connected to the main processing circuit;
A video processing circuit;
With
The main processing circuit includes:
A first interface for outputting image data input from a sensor to the moving image processing circuit;
A first DMA interface;
With
The moving image processing circuit includes:
A second interface for inputting image data output from the main processing circuit;
A second DMA interface connected to the first DMA interface;
An image compression circuit for compressing image data input via the second interface to generate moving image data;
A DMA controller;
With
When the image data transferred to the moving image processing circuit via the first and second interfaces is compressed by the image compression circuit, the DMA controller stores data in the memory via the first and second DMA interfaces. A digital camera using the memory as a buffer by accessing.
メイン処理回路と、
前記メイン処理回路に接続されたメモリと、
動画処理回路と、
を備え、
前記メイン処理回路は、
センサから入力した画像データを前記動画処理回路に出力する第1インタフェースと、
メモリエミュレーション回路と、
を備え、
前記動画処理回路は、
前記メイン処理回路から出力された画像データを入力する第2インタフェースと、
前記第2インタフェースを介して入力した画像データを圧縮して動画像データを生成する画像圧縮回路と、
前記メモリエミュレーション回路に接続されるメモリコントローラと、
を備え、
前記第1および第2インタフェースを介して前記動画処理回路に転送された画像データが前記画像圧縮回路において圧縮処理される際、前記メモリコントローラが、前記メモリエミュレーション回路を介して前記メモリにアクセスすることにより、前記メモリをバッファとして使用することを特徴とするデジタルカメラ。 A digital camera capable of shooting moving images,
A main processing circuit;
A memory connected to the main processing circuit;
A video processing circuit;
With
The main processing circuit includes:
A first interface for outputting image data input from a sensor to the moving image processing circuit;
A memory emulation circuit;
With
The moving image processing circuit includes:
A second interface for inputting image data output from the main processing circuit;
An image compression circuit for compressing image data input via the second interface to generate moving image data;
A memory controller connected to the memory emulation circuit;
With
When the image data transferred to the moving image processing circuit via the first and second interfaces is compressed by the image compression circuit, the memory controller accesses the memory via the memory emulation circuit. According to the digital camera, the memory is used as a buffer.
メイン処理回路と、
前記メイン処理回路に接続されたメモリと、
動画処理回路と、
を備え、
前記メイン処理回路は、
センサから入力した画像データを前記動画処理回路に出力する第1インタフェースと、
セレクタと、
を備え、
前記動画処理回路は、
前記メイン処理回路から出力された画像データを入力する第2インタフェースと、
前記第2インタフェースを介して入力した画像データを圧縮して動画像データを生成する画像圧縮回路と、
前記セレクタに接続されるメモリコントローラと、
を備え、
前記セレクタは、前記メモリコントローラを経由して行われる前記動画処理回路からの前記メモリに対するアクセスと、前記メイン処理回路内のメモリバスを経由して行われる前記メモリに対するアクセスとを選択的に許可する回路であり、前記第1および第2インタフェースを介して前記動画処理回路に転送された画像データが前記画像圧縮回路において圧縮処理される際、前記メモリコントローラが、前記セレクタを介して前記メモリにアクセスすることにより、前記メモリをバッファとして使用することを特徴とするデジタルカメラ。 A digital camera capable of shooting moving images,
A main processing circuit;
A memory connected to the main processing circuit;
A video processing circuit;
With
The main processing circuit includes:
A first interface for outputting image data input from a sensor to the moving image processing circuit;
A selector,
With
The moving image processing circuit includes:
A second interface for inputting image data output from the main processing circuit;
An image compression circuit for compressing image data input via the second interface to generate moving image data;
A memory controller connected to the selector;
With
The selector selectively permits an access to the memory from the moving image processing circuit performed via the memory controller and an access to the memory performed via a memory bus in the main processing circuit. A memory controller that accesses the memory via the selector when image data transferred to the moving image processing circuit via the first and second interfaces is compressed by the image compression circuit. Thus, a digital camera using the memory as a buffer.
前記メイン処理回路は、
前記センサから入力した画像データに所定の画像処理を施す画像処理回路と、
表示装置に対して画像表示処理を実行する表示処理回路と、
前記画像処理回路と前記表示処理回路との間に介装される複数のラインメモリと、
を備え、
前記動画処理回路が前記メモリを使用して圧縮処理を実行している際、前記メイン処理回路のメモリバスを使用することなく、前記画像処理回路から1水平ライン単位で出力される画像データを前記複数のラインメモリ経由で前記表示処理回路に転送することにより、圧縮処理と平行して、前記センサから連続的に出力される画像を前記表示装置に表示することを特徴とするデジタルカメラ。 The digital camera according to any one of claims 1 to 3,
The main processing circuit includes:
An image processing circuit for performing predetermined image processing on the image data input from the sensor;
A display processing circuit for performing image display processing on the display device;
A plurality of line memories interposed between the image processing circuit and the display processing circuit;
With
When the moving image processing circuit executes the compression process using the memory, the image data output in units of one horizontal line is output from the image processing circuit without using the memory bus of the main processing circuit. A digital camera characterized in that an image continuously output from the sensor is displayed on the display device in parallel with the compression processing by being transferred to the display processing circuit via a plurality of line memories.
前記画像処理回路から前記ラインメモリに出力される画像データは、前記表示装置の表示サイズにあわせて解像度変換されたデータであることを特徴とするデジタルカメラ。 The digital camera according to claim 4, wherein
The digital camera, wherein the image data output from the image processing circuit to the line memory is data whose resolution has been converted according to the display size of the display device.
前記複数のラインメモリから出力された画像データを解像度変換する回路、
を備えることを特徴とするデジタルカメラ。 5. The digital camera according to claim 4, further comprising:
A circuit for converting the resolution of the image data output from the plurality of line memories;
A digital camera comprising:
前記表示装置の1フレームの表示周期を、前記センサの1フレーム出力周期に一致させたことを特徴とするデジタルカメラ。 The digital camera according to any one of claims 4 to 6,
A digital camera characterized in that a display cycle of one frame of the display device is matched with a one-frame output cycle of the sensor.
前記表示装置がLCD(液晶表示装置)の場合には、請求項4ないし請求項7のいずれかに記載の手順によりLCDに画像を表示させ、前記表示装置がテレビの場合には、前記メモリをバッファとして使用してテレビに画像を表示させることを特徴とするデジタルカメラ。 The digital camera according to any one of claims 4 to 7,
When the display device is an LCD (liquid crystal display device), an image is displayed on the LCD according to the procedure according to any one of claims 4 to 7, and when the display device is a television, the memory is stored. A digital camera that uses a buffer to display an image on a television.
センサから入力した画像データに所定の画像処理を施す画像処理回路と、
表示装置に対して画像表示処理を実行する表示処理回路と、
前記画像処理回路と前記表示処理回路との間に介装される複数のラインメモリと、
メモリインタフェースと、
前記メモリインタフェースに対してメモリ制御信号を転送するメモリバスと、
を備え、
前記メモリバスを使用することなく、前記画像処理回路から1水平ライン単位で出力される画像データを前記複数のラインメモリ経由で前記表示処理回路に転送することにより、前記センサから連続的に出力される画像を前記表示装置に表示することを特徴とするデジタルカメラ。
A digital camera,
An image processing circuit for performing predetermined image processing on the image data input from the sensor;
A display processing circuit for performing image display processing on the display device;
A plurality of line memories interposed between the image processing circuit and the display processing circuit;
A memory interface;
A memory bus for transferring a memory control signal to the memory interface;
With
Without using the memory bus, image data output in units of one horizontal line from the image processing circuit is transferred to the display processing circuit via the plurality of line memories, thereby being continuously output from the sensor. An image is displayed on the display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003393402A JP2005159596A (en) | 2003-11-25 | 2003-11-25 | Digital camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003393402A JP2005159596A (en) | 2003-11-25 | 2003-11-25 | Digital camera |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005159596A true JP2005159596A (en) | 2005-06-16 |
Family
ID=34719771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003393402A Pending JP2005159596A (en) | 2003-11-25 | 2003-11-25 | Digital camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005159596A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014511606A (en) * | 2011-02-25 | 2014-05-15 | フオトニス・ネザーランズ・ベー・フエー | Real-time image acquisition and display |
KR101796481B1 (en) * | 2011-11-28 | 2017-12-04 | 삼성전자주식회사 | Method of eliminating shutter-lags with low power consumption, camera module, and mobile device having the same |
-
2003
- 2003-11-25 JP JP2003393402A patent/JP2005159596A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014511606A (en) * | 2011-02-25 | 2014-05-15 | フオトニス・ネザーランズ・ベー・フエー | Real-time image acquisition and display |
US9787918B2 (en) | 2011-02-25 | 2017-10-10 | Photonis Netherlands B.V. | Acquiring and displaying images in real-time |
KR101796481B1 (en) * | 2011-11-28 | 2017-12-04 | 삼성전자주식회사 | Method of eliminating shutter-lags with low power consumption, camera module, and mobile device having the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8570334B2 (en) | Image processing device capable of efficiently correcting image data and imaging apparatus capable of performing the same | |
KR100997619B1 (en) | Techniques to facilitate use of small line buffers for processing of small or large images | |
JP5788198B2 (en) | Architecture for video processing, high-speed still image processing, and high-quality still image processing | |
JP2005244980A (en) | Apparatus and method for processing image signal | |
US20060072027A1 (en) | Camera-equipped mobile terminal | |
US20110157426A1 (en) | Video processing apparatus and video processing method thereof | |
JP2015053644A (en) | Imaging device | |
US20090033760A1 (en) | Apparatus and method for processing image data | |
US20070065022A1 (en) | Image signal processing apparatus and method | |
JP6016423B2 (en) | Signal processing apparatus, imaging apparatus, and signal processing method | |
US8970766B2 (en) | Imaging device | |
JP5820720B2 (en) | Imaging device | |
JP2005159596A (en) | Digital camera | |
JP4264602B2 (en) | Image processing device | |
TWI424371B (en) | Video processing device and processing method thereof | |
US20100254618A1 (en) | Method for Accessing Image Data and Related Apparatus | |
JP2007243819A (en) | Image processing apparatus | |
JP5224492B2 (en) | Image data transfer control device, image data transfer method, and camera having the image data transfer device | |
JP2011059911A (en) | Image processing apparatus | |
JP2005142699A (en) | Image companding apparatus | |
JP5457270B2 (en) | Image expansion chip and electronic device | |
JP2004165876A (en) | Image processing apparatus, digital camera, and compound eye system | |
KR20060077161A (en) | Image sensor and image scaling down method | |
JP2006005596A (en) | Semiconductor integrated circuit device and imaging device | |
KR20080113649A (en) | Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090324 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090714 |