JP2006067513A

JP2006067513A - 画像拡大縮小変換装置およびデジタル映像システム

Info

Publication number: JP2006067513A
Application number: JP2004250945A
Authority: JP
Inventors: Sho Okino; 祥沖野
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2004-08-30
Filing date: 2004-08-30
Publication date: 2006-03-09

Abstract

【課題】フレームメモリを設けずに、低コストおよび低消費電力で電子ズームにより画像を拡大縮小してリアルタイムに表示する。
【解決手段】圧縮伸長兼用回路４３による圧縮処理と伸長処理の処理単位が、入力画像用データバッファメモリ４２１，４２２と出力画像用データバッファメモリ４５１，４５２に記憶可能な画像データの所定ライン数に設定され、圧縮データが処理単位で分割されて圧縮処理と伸長処理とが別々でかつ交互に繰り返し処理される。撮像装置２からの入力画像データ２ａは、水平垂直間引き処理回路４１にて間引き処理され、上記所定ライン数分が入力画像用データバッファメモリ４２１，４２２に記憶される。水平垂直補間処理回路４６では、出力画像用データバッファメモリ４５１，４５２から上記所定ライン数単位でデータが読み出されて補間処理が行われ、出力画像データ３ａとして表示装置３に出力される。
【選択図】図１

Description

本発明は、例えばデジタルスチルカメラなどに用いられ、画像データを拡大縮小変換処理する画像拡大縮小変換装置、および撮像装置で撮像された画像データを電子ズーム機能により拡大縮小変換処理して表示装置に表示するデジタル映像システムに関する。

従来、デジタルスチルカメラなどに用いられ、撮像装置で撮像された画像データを電子ズーム機能により拡大・縮小変換処理をして表示装置の表示画面上に画像表示させるデジタル映像システムにおいては、ＣＣＤなどの撮像装置から入力された画像データを垂直方向および水平方向に間引き処理を行ってデータバッファメモリに記憶させ、そのデータバッファメモリからデータを読み出して垂直方向および水平方向に補間処理を行って表示装置に出力させる画像拡大縮小変換装置が用いられている。

しかしながら、従来の電子ズーム機能に用いられる画像拡大縮小変換装置においては、１フレーム分の画像データを記憶するために、データバッファメモリとしてＤＲＡＭなどの大容量のフレームメモリが用いられている。このため、デジタル映像システムのコストアップが生じ、また、画像拡大縮小変換処理のための処理時間や消費電力が増大するという問題があった。

そこで、例えば特許文献１には、このようなフレームメモリの代わりに１ライン分または数ライン分のデータを記憶可能なデータバッファメモリを用いてリアルタイムに画像拡大縮小変換処理を行い、この画像拡大縮小変換処理後の画像データを表示用フレームメモリに記憶させるという方法が開示されている。
特開２００１−１９７３４８号公報

上述したように、従来の電子ズーム機能に用いられる画像拡大縮小変換装置では、データバッファメモリとしてＤＲＡＭなどの大容量のフレームメモリが用いられるため、デジタル映像システムのコストアップ、処理時間や消費電力の増大という問題があった。

また、上記特許文献１に開示されている方法では、画像拡大縮小変換処理にフレームメモリの代わりに１ライン分または数ライン分のデータを記憶可能なデータバッファメモリを用いているため、画像拡大縮小変換処理用のフレームメモリを削減することはできるが、画像拡大縮小変換処理後の画像データを表示用フレームメモリに記憶させているために、表示用フレームメモリを削減することができない。

本発明は、上記従来の問題を解決するもので、大容量のフレームメモリを設けずにメモリ容量を削減し、低コストおよび低消費電力でリアルタイムに画像拡大縮小変換処理を行うことができる画像拡大縮小変換装置およびこれを用いたデジタル映像システムを提供することを目的とする。

本発明の画像拡大縮小変換装置は、入力画像データに対して水平方向および垂直方向に間引き処理を行う水平垂直間引き処理回路と、該水平垂直間引き処理回路から出力される画像データを所定のライン数分記憶可能とする入力画像用データバッファメモリ部と、該入力画像用データバッファメモリ部から画像データを読み出してデータ圧縮する圧縮回路と、該圧縮回路から出力される圧縮データを少なくとも入力画像データの１画面分記憶可能とする圧縮データメモリ部と、該圧縮データメモリ部から圧縮データを読み出してデータ伸長する伸長回路と、該伸長回路から出力される画像データを所定のライン数分記憶可能とする出力画像用データバッファメモリ部と、該出力画像用データバッファメモリ部から出力される画像データに対して水平方向および垂直方向に補間処理を行う水平垂直補間処理回路とを有する画像拡大縮小変換装置において、該圧縮回路と伸長回路とは一部回路が共有されて、時分割で圧縮処理と伸長処理とを行う圧縮伸長兼用回路として構成されており、該圧縮伸長兼用回路は、該圧縮処理と伸長処理との各処理単位が該所定のライン数に設定されて、該処理単位で圧縮データが分割された状態で、該圧縮処理と該伸長処理とを別々に繰り返して処理するものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の画像拡大縮小変換装置における圧縮伸長兼用回路は、前記所定のライン数分の境界部に任意のマーカーコードを挿入する。

さらに、好ましくは、本発明の画像拡大縮小変換装置における圧縮伸長兼用回路は、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）方式によって画像データの圧縮処理と伸長処理とが行われる。

さらに、好ましくは、本発明の画像拡大縮小変換装置におけるマーカーコードは、８ｎ（ｎは自然数）ライン分の画像データ毎に挿入される。

さらに、好ましくは、本発明の画像拡大縮小変換装置における圧縮データメモリ部は、第１および第２の圧縮データメモリを有し、該第１および第２の圧縮データメモリの一方の圧縮データメモリに対する圧縮データの記憶処理と、他方の圧縮データメモリに対する該圧縮データの読み出し処理とを同時に処理可能とする。

さらに、好ましくは、本発明の画像拡大縮小変換装置における圧縮データメモリ部は、前記圧縮伸長兼用回路の圧縮データ出力側と前記第１および第２の圧縮データメモリの入力側との間、および該第１および第２の圧縮データメモリの出力側と該圧縮伸長兼用回路の伸長用入力側との間にそれぞれ、該第１および第２の圧縮データメモリのいずれかに切替える圧縮データメモリ切替スイッチ手段をそれぞれ更に有する。

さらに、好ましくは、本発明の画像拡大縮小変換装置における入力画像用データバッファメモリ部は、第１および第２の入力画像用データバッファメモリを有し、該第１および第２の入力画像用データバッファメモリの一方の入力画像用データバッファメモリに対する入力画像データの記憶処理と、他方の入力画像用データバッファメモリに対する該入力画像データの読み出し処理とを同時に処理可能とする。

さらに、好ましくは、本発明の画像拡大縮小変換装置における入力画像用データバッファメモリ部は、前記水平垂直間引き処理回路のデータ出力側と前記第１および第２の入力画像用データバッファメモリの入力側との間、および該第１および第２の入力画像用データバッファメモリの出力側と前記圧縮伸長兼用回路の圧縮用入力側との間にそれぞれ、該第１および第２の入力画像用データバッファメモリのいずれかに切替える入力画像用データバッファメモリ切替スイッチ手段を有する。

さらに、好ましくは、本発明の画像拡大縮小変換装置における出力画像用データバッファメモリ部は、第１および第２の出力画像用データバッファメモリを有し、該第１および第２の出力画像用データバッファメモリの一方の出力画像用データバッファメモリに対する出力画像データの記憶処理と、他方の出力画像用データバッファメモリに対する該出力画像データの読み出し処理とを同時に処理可能とする。

さらに、好ましくは、本発明の画像拡大縮小変換装置における出力画像用データバッファメモリ部は、前記圧縮伸長兼用回路の伸長データ出力側と前記第１および第２の出力画像用データバッファメモリの入力側との間、および該第１および第２の出力画像用データバッファメモリの出力側と前記水平垂直補間処理回路のデータ入力側との間にそれぞれ、該第１および第２の出力画像用データバッファメモリのいずれかに切替える出力画像用データバッファメモリ切替スイッチ手段をそれぞれ更に有する。

さらに、好ましくは、本発明の画像拡大縮小変換装置における圧縮伸長兼用回路は、伸長処理中に前記入力画像用データバッファメモリ部に所定のライン数分の入力データが記憶されて画像圧縮要求が発生した場合に、該伸長処理が完了するまで圧縮処理を待機状態とする。

本発明のデジタル映像システムは、請求項１〜１１のいずれかに記載の画像拡大縮小変換装置と、被写体を撮像して得られる画像データを入力画像データとして該画像拡大縮小変換装置に供給する撮像装置と、該画像拡大縮小変換装置から出力される出力画像データに応じた画像表示を表示画面上に行う表示装置とを備えており、そのことにより上記目的が達成される。

上記構成により、以下、本発明の作用について説明する。

本発明にあっては、入力画像用データバッファメモリ部および出力画像用データバッファメモリ部に記憶可能な画像データのライン数が同じ数（所定のライン数）に設定されている。

また、撮像装置から入力される入力画像データは、水平垂直間引き処理回路によって水平方向および垂直方向に間引き処理され、その所定のライン数分が入力画像用データバッファメモリ部（第１または第２の入力画像用データバッファメモリ）に記憶される。

このとき、圧縮伸長兼用回路では、その所定のライン数単位で入力画像用データバッファメモリ部（第２または第１の入力画像用データバッファメモリ）からデータが読み出されて、時分割で圧縮処理と伸長処理とが別々に（例えば交互に）行われる。圧縮伸長兼用回路で圧縮処理されたデータは圧縮データメモリ部（第１または第２の圧縮データメモリ）に記憶され、伸長処理時に圧縮データメモリ部（第１または第２の圧縮データメモリ）から読み出される。この圧縮データは、その所定のライン数単位を処理単位として分割されており、１画面よりも小さな分割単位で取り扱って圧縮処理および伸長処理を行うことが可能となる。

圧縮伸長兼用回路から出力される伸長データは、その所定のライン数分が出力画像用データバッファメモリ部（第１または第２の出力画像用データバッファメモリ）に記憶される。

水平垂直補間処理回路では、出力画像用データバッファメモリ部からその所定のライン数単位で画像データが読み出されて水平方向および垂直方向に補間処理が行われ、出力画像データとして表示装置に出力される。

例えば、圧縮データに対して、データバッファメモリの容量（所定のライン数分）の境界部（データの前後）に任意のマーカーコードを挿入することにより、データバッファメモリの容量であるライン数単位で圧縮データを分割して、圧縮処理および伸長処理を１画面よりも小さな処理単位で行うことが可能となる。これによって、画像拡大縮小変換処理後の画像データを、従来のように表示用フレームメモリに記憶させる必要はなく、１画面よりも小さな処理単位の表示用メモリに記憶させることが可能となる。

さらに、入力画像用データバッファメモリ部、出力画像用データバッファメモリ部および圧縮データメモリ部として、それぞれ二つのメモリを設けて、これらを切替スイッチ手段で切替えることによって、データの記憶処理と読み出し処理とを同時に行って処理速度を向上させることが可能となる。

以上のように、本発明によれば、１画面分の画像データを記憶可能な画像拡大縮小用の大容量フレームメモリと表示用フレームメモリとを設けずに、水平垂直間引き回路、水平垂直補間回路、圧縮伸長兼用回路、入力画像用データバッファメモリ部、出力画像用データバッファメモリ部および圧縮データメモリ部というより小規模な回路構成によって、画像の拡大縮小変換処理を行うことができる。また、ＤＲＡＭなどの表示用の大容量フレームメモリが不要であるため、消費電流を削減することができる。したがって、低コストかつ低消費電力で画像の拡大縮小変換処理を行ってリアルタイムに表示が可能な画像拡大縮小変換装置、およびこれを用いたデジタル映像システムを実現することができる。

以下に、本発明の画像拡大縮小変換装置を用いたデジタル映像システムの実施形態について、図面を参照しながら詳細に説明する。

図１は、本発明の画像拡大縮小変換装置を用いたデジタル映像システムの一実施形態の構成例を示すブロック図である。

図１に示すように、本実施形態のデジタル映像システム１は、撮像装置２と、表示装置３と、これらの間に配設された本実施形態の画像拡大縮小変換装置４とを備えている。

撮像装置２は、被写体を撮像して得られる画像データを入力画像データとして画像拡大縮小変換装置４に供給する。

表示装置３は、液晶表示装置などで構成され、表示画面上に、画像拡大縮小変換装置４から出力される出力画像データに応じた画像表示を行う。

画像拡大縮小変換装置４は、水平垂直間引き処理回路４１と、入力画像用データバッファメモリ部４２と、圧縮伸長兼用回路４３と、圧縮データメモリ部４４と、出力側メモリ部４５と、水平垂直補間処理回路４６と、これらの回路間を結ぶデータ信号線および制御信号線（記載せず）とを有している。

水平垂直間引き処理回路４１は、撮像装置２からの画像データ２ａの入力部として設けられており、撮像装置２からの入力画像データ２ａに対して水平方向および垂直方向に所定の間引き処理が行われる。例えば画像縮小モード時には、水平方向および垂直方向に所定の間引き処理が行われ、また、画像拡大モード時には、画像表示領域内の所定領域を指定して切り取るように間引き処理が行われる。

入力画像用データバッファメモリ部４２は、水平垂直間引き処理回路４１から出力される画像データを所定のライン数分（処理単位）記憶可能な容量を持つ第１のデータバッファメモリ４２１および第２のデータバッファメモリ４２２と、これらを切り替える入力画像用データバッファメモリ切替スイッチ手段としての第１のスイッチ４２３および第２のスイッチ４２４とを有している。水平垂直間引き処理回路４１のデータ出力側と第１のデータバッファメモリ４２１および第２のデータバッファメモリ４２２の入力側との間、および第１のデータバッファメモリ４２１および第２のデータバッファメモリ４２２の出力側と圧縮伸長兼用回路４３の圧縮用入力側との間にはそれぞれ、第１のデータバッファメモリ４２１および第２のデータバッファメモリ４２２を切替える第１のスイッチ４２３および第２のスイッチ４２４がそれぞれ設けられている。第１のデータバッファメモリ４２１および第２のデータバッファメモリ４２２は、第１のスイッチ４２３および第２のスイッチ４２４によって切替えられて、一方のデータバッファメモリへのデータ記憶および他方のデータバッファメモリへのデータ読み出しを同時に行うことが可能とされている。例えば、第１のスイッチ４２３の入力端子Ｘと出力端子Ａとが接続されると第１のデータバッファメモリ４２１へのデータ記憶が行われ、第１のスイッチ４２３の入力端子Ｘと出力端子Ｂとが接続されると第２のデータバッファメモリ４２２へのデータ記憶が行われる。また、第２のスイッチ４２４の出力端子Ｙと入力端子Ａとが接続されると、第１のデータバッファメモリ４２１からのデータ読み出しが行われ、第２のスイッチ４２４の出力端子Ｙと入力端子Ｂとが接続されると第２のデータバッファメモリ４２２からのデータ読み出しが行われる。

圧縮伸長兼用回路４３は、圧縮回路および伸長回路の一部回路が共有されて時分割に圧縮処理と伸長処理とを重ならずに別々に行うことが可能な構成となっている。圧縮伸長兼用回路４３は、データバッファメモリ４２１および４２２の出力側に設けられ、データバッファメモリ４２１および４２２から所定のライン数（処理単位）のデータが供給されると、その処理単位で時分割に圧縮処理および伸長処理が交互に繰り返し処理される。圧縮伸長兼用回路４３から出力される圧縮データは、所定のライン数（処理単位）で分割された構成になっている。

圧縮データメモリ部４４は、圧縮伸長兼用回路４３の圧縮データ出力側に、第１の圧縮データメモリ４４１および第２の圧縮データメモリ４４２と、これらを切り替える圧縮データメモリ切替スイッチ手段としての第５のスイッチ４４３および第６のスイッチ４４４とを有している。これらの第１の圧縮データメモリ４４１および第２の圧縮データメモリ４４２はそれぞれ、圧縮伸長兼用回路４３から出力される圧縮データを少なくとも入力画像データの１画面分記憶可能な容量を有している。圧縮伸長兼用回路４３の圧縮データ出力側と第１の圧縮データメモリ４４１および第２の圧縮データメモリ４４２の入力側との間、および第１の圧縮データメモリ４４１および第２の圧縮データメモリ４４２の出力側と圧縮伸長兼用回路４３の伸長用入力側との間にはそれぞれ、第１の圧縮データメモリ４４１および第２の圧縮データメモリ４４２を切替える第５のスイッチ４４３および第６のスイッチ４４４がそれぞれ設けられている。これらの第１の圧縮データメモリ４４１および第２の圧縮データメモリ４４２は、第５のスイッチ４４３および第６のスイッチ４４４によって切替えられて、一方の圧縮データメモリへのデータ書き込みおよび他方の圧縮データメモリへのデータ読み出しを同時に行うことが可能とされている。例えば、第５のスイッチ４４３の入力端子Ｘと出力端子Ａとが接続されると第１の圧縮データメモリ４４１へのデータ記憶が行われ、第５のスイッチ４４３の入力端子Ｘと出力端子Ｂとが接続されると第２の圧縮データメモリ４４２へのデータ記憶が行われる。また、第６のスイッチ４４４の出力端子Ｙと入力端子Ａとが接続されると第１の圧縮データメモリ４４１からのデータ読み出しが行われ、第６のスイッチ４４４の出力端子Ｙと入力端子Ｂとが接続されると第２の圧縮データメモリ４４２からのデータ読み出しが行われる。

出力画像用データバッファメモリ部４５は、圧縮伸長兼用回路４３の伸長データ出力側に、第３のデータバッファメモリ４５１および第４のデータバッファメモリ４５２と、これらを切り替える出力画像用データバッファメモリ切替スイッチ手段としての第３のスイッチ４５３および第４のスイッチ４５４とを有している。これらの第３のデータバッファメモリ４５１および第４のデータバッファメモリ４５２はそれぞれ、圧縮伸長兼用回路４３から出力される画像データを所定のライン数分（処理単位）記憶可能な容量を有している。圧縮伸長兼用回路４３の伸長データ出力側と第３のデータバッファメモリ４５１および第４のデータバッファメモリ４５２の入力側との間、および第３のデータバッファメモリ４５１および第４のデータバッファメモリ４５２の出力側と水平垂直補間処理回路４６のデータ入力側との間にはそれぞれ、第３のデータバッファメモリ４５１および第４のデータバッファメモリ４５２を切替える第３のスイッチ４５３および第４のスイッチ４５４がそれぞれ設けられている。第３のデータバッファメモリ４５１および第４のデータバッファメモリ４５２は、第３のスイッチ４５３および第４のスイッチ４５４によって切替えられて、一方のデータバッファメモリへのデータ書き込みおよび他方のデータバッファメモリへのデータ読み出しを同時に行うことが可能とされている。例えば、第３のスイッチ４５３の入力端子Ｘと出力端子Ａとが接続されると第３のデータバッファメモリ４５１へのデータ記憶が行われ、第３のスイッチ４５１の入力端子Ｘと出力端子Ｂとが接続されると第４のデータバッファメモリ４５２へのデータ記憶が行われる。また、第４のスイッチ４５４の出力端子Ｙと入力端子Ａとが接続されると第３のデータバッファメモリ４５１からのデータ読み出しが行われ、第４のスイッチ４５４の出力端子Ｙと入力端子Ｂとが接続されると第４のデータバッファメモリ４５２からのデータ読み出しが行われる。

水平垂直補間処理回路４６は、出力画像用データバッファメモリ部４５の第３のデータバッファメモリ４５１および第４のデータバッファメモリ４５２の出力側に設けられており、第３のデータバッファメモリ４５１または第４のデータバッファメモリ４５２から出力される画像データに対して水平方向および垂直方向に補間処理が行われて、表示装置３に対して出力画像データ３ａを出力する。例えば画像縮小モード時には、水平垂直補間処理回路４６による補間処理は行われず、また、画像拡大モード時には、水平垂直間引き処理回路４１で領域指定した画像表示領域内の所定領域を拡大するように水平方向および垂直方向に補間処理が行われる。

上記構成により、本実施形態のデジタル映像システム１による画像縮小モード時の動作および画像拡大モード時の動作についてそれぞれ説明する。

まず、デジタル映像システム１による画像縮小モード時の動作について説明する。

画像縮小モードでは、撮像装置２からの入力画像データ２ａが、水平垂直間引き処理回路４１により適時間引きされ、第１のスイッチ４２３（入力端子Ｘと出力端子Ａとが接続状態）を介して所定のライン数分だけデータバッファメモリ４２１に記憶される。このときの間引き処理は、例えば１／２間引き処理の場合、１ドット置き、かつ、１ライン置きにデータが記憶されるなどという方法により行われる。

データバッファメモリ４２１では、所定のライン数のデータ記憶が完了すると、第２のスイッチ４２４（出力端子Ｙと入力端子Ａとが接続状態）を介して記憶データが圧縮伸長兼用回路４３に入力され、データ圧縮処理が行われる。このときのデータ圧縮処理は、例えばＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）方式により行われる。また、このとき、第１のスイッチ４２３がデータバッファメモリ４２１側（入力端子Ｘと出力端子Ａとが接続状態）からデータバッファメモリ４２２側（入力端子Ｘと出力端子Ｂとが接続状態）に切り替えられる。

画像圧縮伸長兼用回路４３による圧縮処理が完了すると、第５のスイッチ４４３（入力端子Ｘと出力端子Ａとが接続状態）を介して第１の圧縮データメモリ４４１にデータが記憶される。

引き続いて、データバッファメモリ４２１に所定のライン数のデータ記憶が完了すると、第２のスイッチ４２４（出力端子Ｙと入力端子Ａとが接続状態）を介して記憶データが圧縮伸長兼用回路４３に入力され、データ圧縮処理が行われる。その後、第１のスイッチ４２３はデータバッファメモリ４２２側（入力端子Ｘと出力端子Ｂとが接続状態）からデータバッファメモリ４２１側（入力端子Ｘと出力端子Ａとが接続状態）に切り替えられる。

このようにして第１の圧縮データメモリ４４１に１フレーム分の画像データが記憶されまで、データバッファメモリ４２１とデータバッファメモリ４２２とが交互に切り替えられながら、水平垂直間引き処理回路４１による水平垂直間引き処理と画像圧縮伸長兼用回路４３による画像圧縮処理とが繰り返される。

これにより、従来技術では１画面分で一つの圧縮データであったのに対して、本実施形態においては、所定のライン数分（例えば８ライン）で一つの圧縮データとなり、１画面分の圧縮データは複数の圧縮データから構成されることになる。

第１の圧縮データメモリ４４１に１フレーム分の画像データが記憶されると、第５のスイッチ４４３が第１の圧縮データメモリ４４１側（入力端子Ｘと出力端子Ａとが接続状態）から第２の圧縮データメモリ４４２側（入力端子Ｘと出力端子Ｂとが接続状態）に切り替えられる。また、第６のスイッチ４４４が１フレーム分の画像データが記憶されている第１の圧縮データメモリ４４１側（出力端子Ｙと入力端子Ａとが接続状態）に切り替えられる。

第１の圧縮データメモリ４５１に記憶された画像データは、第６のスイッチ４４４（出力端子Ｙと入力端子Ａとが接続状態）を介して圧縮伸長兼用回路４３に入力され、データ伸長処理が行われて、第３のスイッチ４５３（入力端子Ｘと出力端子Ａとが接続状態）を介してデータバッファメモリ４５１に記憶される。このときの伸長処理は、例えばＪＰＥＧ方式により行われる。

画像圧縮伸長兼用回路４３による伸長処理が完了し、データバッファメモリ４５１のデータ記憶が完了すると、第３のスイッチ４５３がデータバッファメモリ４５１側（入力端子Ｘと出力端子Ａとが接続状態）からデータバッファメモリ４５２側（入力端子Ｘと出力端子Ｂとが接続状態）に切り替えられる。また、第４のスイッチ４５４がデータバッファメモリ４５１側（出力端子Ｙと入力端子Ａとが接続状態）に切り替えられる。

データバッファメモリ４５１に記憶されたデータは、第４のスイッチ４５４（出力端子Ｙと入力端子Ａとが接続状態）を介して水平垂直補間回路４６に入力され、補間処理が行われて、出力画像データ３ａとして表示装置３の表示画面上に表示出力される。このときの補間処理は、例えば１／２間引き処理の場合、データバッファメモリ４５１からのデータをそのまま出力するなどという方法により行われる。

以降、第３のスイッチ４５３および第４のスイッチ４５４によってデータバッファメモリ４５１からデータバッファメモリ４５２に切り替えられた状態で処理が行われ、さらに１フレーム分のデータ処理が完了するまで、データバッファメモリ４５１とデータバッファメモリ４５２とが交互に切り替えられながら処理が行われる。

１フレーム分のデータ処理が完了すると、第５のスイッチ４４３および第６のスイッチ４４４によって第１の圧縮データメモリ４４１から第２の圧縮データメモリ４４２に切り換えられた状態で処理が行われ、以降、第１の圧縮データメモリ４４１と第２の圧縮データメモリ４４２とが交互に切り替えられながら処理が繰り返される。

なお、上記圧縮伸長兼用回路４３による伸長処理中にデータバッファメモリ４２１およびデータバッファメモリ４２２の一方による所定のライン数のデータ記憶が完了し、画像圧縮要求が発生した場合には、伸長処理が完了するまで圧縮処理が待機状態とされる。このときの待機時間は、圧縮データがデータバッファメモリのライン数で分割されており、データバッファメモリ４２１およびデータバッファメモリ４２２の他方による所定のライン数の記憶が完了するまでに伸長処理が完了するため、データバッファメモリ４２１またはデータバッファメモリ４２２に誤ってデータが上書きされることはない。

次に、デジタル映像システム１による画像拡大モード時の動作について説明する。

画像拡大モードでは、撮像装置２からの入力画像データ２ａが、水平垂直間引き処理回路４により撮像装置２の任意のラインおよびドットをスタートポイントして設定され、第１のスイッチ４２３（入力端子Ｘと出力端子Ａとが接続状態）を介して所定のドットおよびライン数分だけデータバッファメモリ４２１に記憶される。

データバッファメモリ４２１では、所定のライン数のデータ記憶が完了すると、第２のスイッチ４２４（出力端子Ｙと入力端子Ａとが接続状態）を介して記憶データが圧縮伸長兼用回路４３に入力され、ここでデータ圧縮処理が行われる。このときの圧縮処理は、例えばＪＰＥＧ方式により行われる。その後、第１のスイッチ４２３がデータバッファメモリ４２１側（入力端子Ｘと出力端子Ａとが接続状態）からデータバッファメモリ４２２側（入力端子Ｘと出力端子Ｂとが接続状態）に切り替えられる。

引き続いて、データバッファメモリ４２２に所定のライン数のデータ記憶が完了すると、第２のスイッチ４２４（出力端子Ｙと入力端子Ｂとが接続状態）を介して記憶データが圧縮伸長兼用回路４３に入力され、ここでデータ圧縮処理が行われる。その後、第１のスイッチ４２３がデータバッファメモリ４２２側（入力端子Ｘと出力端子Ｂとが接続状態）からデータバッファメモリ４２１側（入力端子Ｘと出力端子Ａとが接続状態）に切り替えられる。

画像圧縮伸長兼用回路４３による圧データ縮処理が完了すると、第５のスイッチ４４３（入力端子Ｘと出力端子Ａとが接続状態）を介して第１の圧縮データメモリ４４１にデータが記憶される。

このようにして、第１の圧縮データメモリ４４１に１フレーム分の画像データが記憶されるまで、データバッファメモリ４２１とデータバッファメモリ４２２とが交互に切り替えられながら、水平垂直間引き処理回路４１による水平垂直間引き処理と画像圧縮伸長兼用回路４３による画像圧縮処理とが繰り返される。

これにより、従来技術では１画面分で一つの圧縮データであったのに対して、本実施形態においては、所定のライン数分で一つの圧縮データとなり、１画面分の圧縮データは複数の圧縮データから構成されることとなる。

第１の圧縮データメモリ４４１に記憶された画像データは、第６のスイッチ４４４（出力端子Ｙと入力端子Ａとが接続状態）を介して圧縮伸長兼用回路４３に入力され、伸長処理が行われて、第３のスイッチ４４３（入力端子Ｘと出力端子Ａとが接続状態）を介してデータバッファメモリ４５１に記憶される。このときの伸長処理は、例えばＪＰＥＧ方式により行われる。

データバッファメモリ４５１に記憶されたデータは、第４のスイッチ４５２（出力端子Ｙと入力端子Ａとが接続状態）を介して水平垂直補間回路４６に入力され、ここでデータ補間処理が行われて、出力画像データ３ａとして表示装置３に出力される。このときのデータ補間処理は、例えば２倍拡大処理の場合、データバッファメモリ４５１またはデータバッファメモリ４５２からの１ドットデータを、２ドット×２ライン分、同じデータとして出力するなどという方法により行われる。

１フレーム分のデータ処理が完了すると、第５のスイッチ４４３および第６のスイッチ４４４によって第１の圧縮データメモリ４４１から第２の圧縮データメモリ４４２に切り替えられた状態で処理が行われ、以降、第１の圧縮データメモリ４４１と第２の圧縮データメモリ４４２とが交互に切り替えられながら処理が繰り返される。

図２に、本実施形態の画像拡大縮小変換装置４による圧縮データ構成の一例を示している。図２の例では、データバッファメモリの容量である所定のライン数は８、１画面のサイズは水平方向を３２０画素、垂直方向を２４０ラインとしている。

図２に示すように、この圧縮データの構成例では、スタートマーカーとエンドマーカーとが各８ライン分の圧縮データの前後に圧縮伸長兼用回路４３により挿入されており、８ライン毎に全く独立した圧縮データが構成されている。

図２に示すような圧縮データ構成とすることにより、従来では、図３に示すように、データバッファメモリを用いていても圧縮データの構成は１画面で一つの圧縮データであったのに対して、本実施形態ではデータバッファメモリの容量である所定のライン数分で圧縮データを独立させることができる。したがって、本実施形態の画像拡大縮小変換装置４によれば、画像データの圧縮処理と伸長処理とをデータバッファメモリの容量である８ライン単位で独立して行うことが可能となり、時分割での圧縮処理と伸長処理とを１画面よりも小さな８ライン単位で実施することが可能になる。

以上により、本実施形態によれば、圧縮伸長兼用回路４３による圧縮処理と伸長処理の処理単位が、入力画像用データバッファメモリ４２１，４２２と出力画像用データバッファメモリ４５１，４５２に記憶可能な画像データの所定ライン数に設定され、圧縮データが処理単位で分割されて圧縮処理と伸長処理とが別々でかつ交互に繰り返し処理される。撮像装置２からの入力画像データ２ａは、水平垂直間引き処理回路４１にて間引き処理され、上記所定ライン数分が入力画像用データバッファメモリ４２１，４２２に記憶される。水平垂直補間処理回路４６では、出力画像用データバッファメモリ４５１，４５２から上記所定ライン数単位でデータが読み出されて補間処理が行われ、出力画像データ３ａとして表示装置３に出力される。これによって、画像拡大縮小変換処理後の画像データを、従来のように表示用フレームメモリに記憶させる必要はなく、１画面よりも小さな処理単位の表示用メモリに記憶させることが可能となる。したがって、従来のようにフレームメモリおよび表示用フレームメモリを設けずに、低コストおよび低消費電力で電子ズーム機能により画像を拡大縮小してリアルタイムに表示することができる。

なお、本実施形態では特に説明しなかったが、入力画像用データバッファメモリ部４２、圧縮データメモリ部４４および出力画像用データバッファメモリ部４５においてそれぞれ、各部を制御する各制御回路およびその制御線が設けられている。即ち、入力画像用データバッファメモリ部４２は、所定のライン数分の入力画像データを記憶可能とする入力画像用データバッファメモリ（データバッファメモリ４２１，４２２）と、入力画像用データバッファメモリを制御する入力画像用ラインメモリ制御回路（図示せず）とを有し、出力画像用データバッファメモリ部４５は、所定のライン数分の画像データを記憶可能とする出力画像用データバッファメモリ（データバッファメモリ４５１，４５２）と、出力画像用ラインメモリを制御する出力画像用ラインメモリ制御回路とを有する。

一方、圧縮伸長兼用回路４３は、入力画像用データバッファメモリ制御回路からの圧縮開始イネーブル信号に基づいて圧縮処理を行い、出力画像用データバッファメモリ制御回路からの伸長開始イネーブル信号に基づいて伸長処理を行う。また、圧縮伸長兼用回路４３は、圧縮開始イネーブル信号と伸長開始イネーブル信号とが共にアクティブ状態となったときに、伸長処理を優先する。圧縮伸長兼用回路４３は、圧縮処理中に伸長開始イネーブル信号がアクティブ状態となったときに、圧縮処理の終了後に伸長処理を開始するかまたは、圧縮処理を一旦中断して、伸長処理を優先する。

また、圧縮データメモリ部４４は、圧縮画像データを記憶可能とする圧縮データメモリ（圧縮データメモリ４４１，４４２）と、この圧縮データメモリを制御する圧縮データメモリ制御回路とを有する。

次に、本実施形態ではマーカーコードは８ライン分の画像データ毎に挿入されるようにしたが、これに限定されず、所望のライン数分の画像データ毎に挿入することが可能である。マーカーコードは例えば８ｎ（ｎは自然数）ライン分の画像データ毎に挿入できる。

また、本実施形態では、入力画像用データバッファメモリ部４２に第１および第２の入力画像用データバッファメモリ４２１，４２２を設け、圧縮データメモリ部４４に第１および第２の圧縮データメモリ４４１，４４２を設け、出力画像用データバッファメモリ部４５に第１および第２の出力画像用データバッファメモリ４５１，４５２を設けたが、これに限らず、一つの入力画像用データバッファメモリ、一つの圧縮データメモリ、一つの出力画像用データバッファメモリを有するように構成することもできる。この場合に、これらに対するスイッチおよびその制御は必要なくなる。

さらに、本実施形態では特に説明しなかったが、従来のように、圧縮処理と伸長処理とが重複して行われる期間がないため、圧縮回路と伸長回路とを独立して設ける必要がなく、圧縮回路と伸長回路とで一部回路を共有させて、圧縮伸長兼用回路４３をより簡略な構成とすることができる。共用できる回路としては、例えばJPEG方式の回路においては量子化テーブルのメモリ、離散コサイン変換を行なう際の転置メモリ、ハフマンテーブル用のメモリ、量子化と逆量子化する際の掛け算器などがある。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、例えばデジタルスチルカメラなどに用いられ、画像データを拡大縮小変換処理する画像拡大縮小変換装置、および撮像装置で撮像された画像データを電子ズームにより拡大縮小変換処理して表示装置に表示するデジタル映像システムの分野において、ＣＣＤなどの撮像装置から入力された画像データを、本発明の画像拡大縮小変換装置によって垂直方向および水平方向に間引き処理を行ってデータバッファメモリに記憶させ、そのデータバッファメモリからデータを読み出して垂直方向および水平方向に補間処理を行って表示装置に出力させることにより、リアルタイムに画像を表示画面上に表示させることが可能となる。さらに、１画面分の画像データを記憶可能な画像拡大縮小用の大容量フレームメモリと表示用フレームメモリとを設けずに、水平垂直間引き回路、水平垂直補間回路、圧縮伸長兼用回路、入力画像用データバッファメモリ、出力画像用データバッファメモリおよび圧縮データメモリというより小規模な構成によって、画像の拡大縮小変換処理を行うことができる。また、ＤＲＡＭなどの表示用の大容量フレームメモリが不要であるため、消費電流を削減することができる。したがって、低コストかつ低消費電力で画像の拡大縮小変換処理を行ってリアルタイムに表示が可能な画像拡大縮小変換装置、およびこれを用いたデジタル映像システムを実現することができる。

本発明の一実施形態である画像拡大縮小変換装置を用いたデジタル映像システムの構成例を示すブロック図である。画像サイズが３２０ピクセル×２４０ラインの入力画像データを本実施形態の画像拡大縮小変換装置により圧縮した圧縮データの構成例を示す図である。画像サイズが３２０ピクセル×２４０ラインの入力画像データを従来の画像拡大縮小変換装置により圧縮した圧縮データの構成例を示す図である。

符号の説明

１デジタル映像システム
２撮像装置
２ａ撮像装置からの入力画像データ
３表示装置
３ａ表示装置への出力画像データ
４画像拡大縮小変換装置
４１水平垂直間引き回路
４２１第１のデータバッファメモリ
４２２第２のデータバッファメモリ
４２３第１のスイッチ
４２４第２のスイッチ
４３圧縮伸長兼用回路
４４１第１の圧縮データメモリ
４４２第２の圧縮データメモリ
４４３第５のスイッチ
４４４第６のスイッチ
４５１第３のデータバッファメモリ
４５２第４のデータバッファメモリ
４５３第３のスイッチ
４５４第４のスイッチ
４６水平垂直補間回路

Claims

入力画像データに対して水平方向および垂直方向に間引き処理を行う水平垂直間引き処理回路と、
該水平垂直間引き処理回路から出力される画像データを所定のライン数分記憶可能とする入力画像用データバッファメモリ部と、
該入力画像用データバッファメモリ部から画像データを読み出してデータ圧縮する圧縮回路と、
該圧縮回路から出力される圧縮データを少なくとも入力画像データの１画面分記憶可能とする圧縮データメモリ部と、
該圧縮データメモリ部から圧縮データを読み出してデータ伸長する伸長回路と、
該伸長回路から出力される画像データを所定のライン数分記憶可能とする出力画像用データバッファメモリ部と、
該出力画像用データバッファメモリ部から出力される画像データに対して水平方向および垂直方向に補間処理を行う水平垂直補間処理回路とを有する画像拡大縮小変換装置において、
該圧縮回路と伸長回路とは一部回路が共有されて、時分割で圧縮処理と伸長処理とを行う圧縮伸長兼用回路として構成されており、
該圧縮伸長兼用回路は、該圧縮処理と伸長処理との各処理単位が該所定のライン数に設定されて、該処理単位で圧縮データが分割された状態で、該圧縮処理と該伸長処理とを別々に繰り返して処理する画像拡大縮小変換装置。
前記圧縮伸長兼用回路は、前記所定のライン数分の境界部に任意のマーカーコードを挿入する請求項１に記載の画像拡大縮小変換装置。
前記圧縮伸長兼用回路は、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）方式によって画像データの圧縮処理と伸長処理とが行われる請求項２に記載の画像拡大縮小変換装置。
前記マーカーコードは、８ｎ（ｎは自然数）ライン分の画像データ毎に挿入される請求項２または３に記載の画像拡大縮小変換装置。
前記圧縮データメモリ部は、第１および第２の圧縮データメモリを有し、
該第１および第２の圧縮データメモリの一方の圧縮データメモリに対する圧縮データの記憶処理と、他方の圧縮データメモリに対する該圧縮データの読み出し処理とを同時に処理可能とする請求項１〜４のいずれかに記載の画像拡大縮小変換装置。
前記圧縮データメモリ部は、前記圧縮伸長兼用回路の圧縮データ出力側と前記第１および第２の圧縮データメモリの入力側との間、および該第１および第２の圧縮データメモリの出力側と該圧縮伸長兼用回路の伸長用入力側との間にそれぞれ、該第１および第２の圧縮データメモリのいずれかに切替える圧縮データメモリ切替スイッチ手段をそれぞれ更に有する請求項５に記載の画像拡大縮小変換装置。
前記入力画像用データバッファメモリ部は、第１および第２の入力画像用データバッファメモリを有し、
該第１および第２の入力画像用データバッファメモリの一方の入力画像用データバッファメモリに対する入力画像データの記憶処理と、他方の入力画像用データバッファメモリに対する該入力画像データの読み出し処理とを同時に処理可能とする請求項１〜６のいずれかに記載の画像拡大縮小変換装置。
前記入力画像用データバッファメモリ部は、前記水平垂直間引き処理回路のデータ出力側と前記第１および第２の入力画像用データバッファメモリの入力側との間、および該第１および第２の入力画像用データバッファメモリの出力側と前記圧縮伸長兼用回路の圧縮用入力側との間にそれぞれ、該第１および第２の入力画像用データバッファメモリのいずれかに切替える入力画像用データバッファメモリ切替スイッチ手段を有する請求項７に記載の画像拡大縮小変換装置。
前記出力画像用データバッファメモリ部は、第１および第２の出力画像用データバッファメモリを有し、
該第１および第２の出力画像用データバッファメモリの一方の出力画像用データバッファメモリに対する出力画像データの記憶処理と、他方の出力画像用データバッファメモリに対する該出力画像データの読み出し処理とを同時に処理可能とする請求項１〜８のいずれかに記載の画像拡大縮小変換装置。
前記出力画像用データバッファメモリ部は、前記圧縮伸長兼用回路の伸長データ出力側と前記第１および第２の出力画像用データバッファメモリの入力側との間、および該第１および第２の出力画像用データバッファメモリの出力側と前記水平垂直補間処理回路のデータ入力側との間にそれぞれ、該第１および第２の出力画像用データバッファメモリのいずれかに切替える出力画像用データバッファメモリ切替スイッチ手段をそれぞれ更に有する請求項９に記載の画像拡大縮小変換装置。
前記圧縮伸長兼用回路は、伸長処理中に前記入力画像用データバッファメモリ部に所定のライン数分の入力データが記憶されて画像圧縮要求が発生した場合に、該伸長処理が完了するまで圧縮処理を待機状態とする請求項１〜１０のいずれかに記載の画像拡大縮小変換装置。
請求項１〜１１のいずれかに記載の画像拡大縮小変換装置と、
被写体を撮像して得られる画像データを入力画像データとして該画像拡大縮小変換装置に供給する撮像装置と、
該画像拡大縮小変換装置から出力される出力画像データに応じた画像表示を表示画面上に行う表示装置とを備えたデジタル映像システム。