JP2005326528A - 画像表示装置 - Google Patents

Abstract

【課題】 圧縮処理技術を用いることなく、解像度変換に要する画像メモリの容量を削減できる画像表示装置を提供する。
【解決手段】 画像メモリへ１画面分の画像データの書き込みが終了する前に、当該１画面分の画像データの読出しを開始する。これにより、画像メモリに１画面分の記憶容量を必要とすることなく、入力画像データを出力画像データへ解像度変換することが可能となる。特に、入力画像データの入力同期信号（周期Ｖ）に対して、出力同期信号を（１／２）Ｖ送らせて出力するようにすれば、画像メモリの容量として、１画面分の半分程度で済ませることが可能となり、これにより、画像メモリの容量を従来よりも大幅に削減することが可能となる。
【選択図】 図５

Description

本発明は、入力画像を解像度変換して出力する機能を備えた画像表示装置に関し、更に詳しくは、解像度変換の際に入力画像を一時的に記憶する画像メモリの容量を従来よりも削減できる画像表示装置に関する。

従来より、画像を電気信号に変換する撮像装置、例えばビデオカメラなどには、撮影画像を一時的に記憶する画像メモリを設けることにより、手振れ補正および電子ズームなどの効果を施す機能が付加されている。ここで、手振れ補正とは、ビデオカメラの撮影者の手振れ情報をジャイロセンサ等で取得し、その情報を基に画像の一部分を切り出して、切り出した部分を標準の画角に拡大あるいは縮小するために画素値を近隣の画素値で補間処理することにより、画像を電気的に拡大あるいは縮小するものである。また、電子ズームとは、画像の一部を切り出して、その切り出した部分を標準の画角に拡大するために不足する画素値を近隣の画素値で補間処理することにより、画像を電気的に拡大するものである。

図７は、従来の画像表示装置における全画面表示時の連続３画面分の画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートの一例である。この例では、水平１９２０画素×垂直５４０ラインの入力画像信号を水平１４４０画素×垂直５４０の出力画像信号に解像度変換している様子を示している。

画像メモリはリングバッファで構成され、書込みを破線、読出しを実線で示している。画像メモリのアドレスは０から始まり、１ライン書き込む毎に１ライン分加算される。アドレスが画像メモリの最後まで到達した場合は、図示するようにアドレスは０に戻り、再び１ライン書き込む毎に１ライン分加算される。アドレスは、１画面分の処理が終了しても保持され、次画面の処理は前画面のアドレスから継続して行われる。

入力同期信号と出力同期信号は互いに同期して発せられており、画像メモリに画像が書き込まれている間、当該画像よりも１Ｖ前の画像が画像メモリから読み出される。即ち、例えば、期間（ｔ１１〜ｔ１２）で画像メモリに書き込まれた画像１は、１Ｖ遅れた期間（ｔ１３〜ｔ１４）で画像メモリから解像度変換されて読み出されるが、この期間（ｔ１３〜ｔ１４）においては同時に次画面の画像２の書込みが行われる。同様に、期間（ｔ１５〜ｔ１６）において画像３の書込みが行われると同時に、当該画像３よりも１画面前の画像２の読み出しが行われる。

また、図８は、従来の画像表示装置における手振れ補正を想定した動作例として、水平１９２０画素×垂直５４０ラインの入力画像解像度を、その画面中央の水平１６００画素×垂直４５０ラインを有効範囲に指定して、水平１４４０画素×垂直５４０ラインの出力画像解像度に解像度変換する様子を示している。

更に、従来の画像表示装置における手振れ補正を想定した他の動作例として、有効範囲が水平１６００画素×垂直４５０ライン（画面上部）、水平９６０画素×垂直７２０ライン（画面中央）、水平１６００画素×垂直４５０ライン（画面下部）と順に変化した場合の画像メモリのアドレス推移と画像の入出力タイミングを図９に示す。

図８および図９に示した何れの例においても、図７に示した動作例と同様に、入力同期信号と出力同期信号は互いに同期して発せられており、画像メモリに画像が書き込まれている間、当該画像よりも１Ｖ前の画像が画像メモリから読み出されている。これらの例では、入力画像の書込み期間が有効範囲画像のライン位置に対応して変化するが、読出し期間は同一で常に一定の出力タイミングで画像が出力されている。

特許第３４０６９２４号公報

上述のように、従来の画像表示装置において、入力画像を一時的に記憶する画像メモリは、少なくとも１画面（フィールドまたはフレーム）分の記憶容量を必要としていた。従って、例えばハイビジョン（ＨＤ）映像の１フィールド分の輝度及び色差信号を各々８ビットで記憶すると、そのままでは記憶容量として約１２Ｍビット必要となり、画像メモリが大型化するだけでなく、画像メモリが高価になるという問題がある。

そこで、画像メモリの入力側に圧縮符号化回路を設けるとともに、画像メモリの出力側に伸長復号化回路を設けて、画像メモリの記憶容量を少なくて済むようにしたり、電子ズーム倍率によって圧縮時の量子化係数を制御する方法が開示されている（上記特許文献１参照）。

上記構成によれば、画像メモリの一部削減にある程度貢献できる反面、圧縮符号化回路や伸長復号化回路等の追加回路を必要とし、また、圧縮処理技術を施すことにより少なからず画質の劣化を招き、特に電子ズーム時には電子ズーム自体の画質劣化と相まって画質は更に劣化してしまうという問題がある。

本発明は上述の問題に鑑みてなされ、圧縮処理技術を用いることなく、解像度変換に要する画像メモリ容量の大幅な削減を図ることができる画像表示装置を提供することを課題とする。

以上の課題を解決するに当たり、本発明の画像表示装置は、入力画像データを記憶する画像メモリと、入力画像データから有効範囲を指定する制御部と、有効範囲内における画像データを画像メモリから読み出して出力画像データの解像度に変換する解像度変換部とを備え、解像度変換部では、１画面分の画像データの画像メモリへの書込みが終了する前に、この画像メモリから当該１画面分の画像データの読出しが開始されることを特徴とする。

本発明では、画像メモリへ１画面分の画像データの書き込みが終了する前に、当該１画面分の画像データの読出しを開始するようにしているので、画像メモリに１画面分の記憶容量を必要とすることなく、入力画像データを出力画像データへ解像度変換することが可能となる。

特に、入力画像データの入力同期信号（周期Ｖ）に対して、出力同期信号を（１／２）Ｖ送らせて出力するようにすれば、画像メモリの容量として、１画面分の半分程度で済ませることが可能となり、これにより、画像メモリの容量を従来よりも大幅に削減することが可能となる。

本発明の画像表示装置によれば、画像メモリへ１画面分の画像データを書き込む前に、当該１画面分の画像データの読出しを開始するようにしているので、画像メモリの容量を従来よりも削減することが可能となり、これにより画像メモリの小型化および低廉化を図ることができる。また、画像の出力タイミングを従来よりも早く行うことができるようになる。

以下、本発明の実施の形態について図面を参照して説明する。

図１は本発明の実施の形態による画像表示装置１の概略構成図である。本実施の形態では、画像表示装置１としてデジタルビデオカメラへの適用例を示す。画像表示装置１は、撮影レンズ２と、撮像素子３と、Ａ／Ｄ変換器４と、信号処理回路５と、制御部６と、解像度変換及び電子ズーム回路部（以下「解像度変換部」という）７とを有している。

撮像素子３は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ等で構成されており、撮影レンズ２を介して取り込んだ被写体光画像を電気信号に変換してＡ／Ｄ変換器４へ供給する。Ａ／Ｄ変換器４は、撮像素子３からのアナログ画像信号をデジタル画像信号に変換した後、信号処理回路５へ供給する。信号処理回路５は、ガンマ補正やカラーバランス調整等の周知のカメラ信号処理を行い、輝度信号及び色差信号を各々８ビットの画像信号として出力する。制御部６は、手振れ補正や電子ズームに応じて入力画像の有効範囲を指定する。

解像度変換部７は、制御部６からの有効範囲情報に応じて必要な画像データのみを抽出し出力画像の解像度に変換した画像信号（ビデオ信号）を出力する。解像度変換部７は、図２に示すように、横解像度変換回路８、縦解像度変換回路９および画像メモリ１０とを備えている。

横解像度変換回路８は、画像メモリ１０の前段に置かれ、信号処理回路５からの入力画像のうち、横方向（水平方向）に関して制御部６より指定された有効範囲のみを抽出し、補間演算により出力画像の解像度に変換する。処理はライン単位で行われる。処理したラインが有効範囲内であれば、画像メモリ１０へ書き込む。

縦解像度変換回路９は、画像メモリ１０の後段に置かれ、制御部６より指定された有効範囲のラインのデータを画像メモリ１０から読み出し、縦方向（垂直方向）に関して補間演算により出力画像の解像度に変換して出力する。

画像メモリ１０は、例えばＤＲＡＭ等の半導体記憶素子で構成され、横解像度変換回路８により出力画像の横解像度に変換された入力画像の画像データを一時的に記憶する。本実施の形態において、画像メモリ１０の容量（Ｘ＊Ｙ）は、
Ｘ＝出力画像の横方向の解像度
Ｙ＝入力画像の縦方向のライン数の１／２＋マージン（１０％程度）
とされている。

従って、画像メモリ１０には、入力画像の１画面分の画像データ全体を書き込むことができない。そこで、本実施の形態では、一画面分の画像データの画像メモリ１０への書き込みが終了する前に、当該一画面分の画像データの読み出しを開始するようにしている。即ち、入力画像は、従来と同様に同期信号に合わせて一定期間Ｖ毎に連続して入力されるが、出力画像は、従来と異なり、入力画像に対して（１／２）Ｖ遅れて一定期間Ｖ毎に連続して出力されるようになっている。

本実施の形態の動作例を、図４に示すような全画面表示時の連続３画面分の画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートを用いて説明する。この例では、水平１９２０画素×垂直５４０ラインの入力画像信号を水平１４４０画素×垂直５４０の出力画像信号に解像度変換している様子を示している。

画像メモリ１０はリングバッファで構成され、書込みを破線、読出しを実線で示している。画像メモリ１０のアドレスは０から始まり、１ライン書き込む毎に１ライン分加算される。アドレスが画像メモリの最後まで到達した場合は、図示するようにアドレスは０に戻り、再び１ライン書き込む毎に１ライン分加算される。アドレスは、１画面分の処理が終了しても保持され、次画面の処理は前画面のアドレスから継続して行われる。

図４に示すように、入力画像は、同期信号に合わせて一定期間Ｖ毎に連続して入力される。また、出力同期信号は入力同期信号とは非同期とされ、特に本実施の形態では、出力画像は、入力画像に対して（１／２）Ｖ遅れて一定期間Ｖ毎に連続して入力される。

画面１に係る入力画像データは横解像度変換回路８により画面最上部のラインから順に解像度変換され、その解像度変換された画像データが順に画像メモリ１０のアドレスへライン毎に書き込まれる。図４において、画面１の入力画像データ全体を画像メモリ１０へ書き込むのにｔ１〜ｔ３の期間要する場合、画像メモリ１０の縦方向の容量が入力画像データのライン数の半分程度しかないので、入力画像データの例えば半分から下のラインに位置する画像データは先に書き込まれたラインの画像データに上書きされることになる。

そこで、本実施の形態では、図４に示すように、縦解像度変換回路９による画面１に係る入力画像データの縦解像度変換処理を、画像メモリ１０に対する画面１に係る入力画像データの書込みが終了する前の、画像入力から（１／２）Ｖ経過した時間ｔ２に開始するようにしている。この（１／２）Ｖ時間の期間内に、画像メモリ１０に既に書き込まれている入力画像データの最上部ラインから下の所定ラインにかけて縦解像度変換処理を行うことにより、入力画像データの前半部分が後半部分の上書きにより消失する前に、出力画像の縦解像度で出力することが可能となる。

画面１に係る入力画像データの縦解像度変換回路９による読み出し処理は、図４において、ｔ２〜ｔ５の期間にわたって行われ、その期間内の時間ｔ４において、次画面２に係る入力画像データの横解像度変換回路８による画像メモリ１０への書込み処理が開始される。そして、上述と同様にして、画面２に係る画像データの入力から（１／２）Ｖ経過した時間に当該画面２に係る画像データの読み出しが行われ、以降、次なる画面３の書込み及び読出しが順に行われる。

なお、この全画面表示時における入力画像データの書込速度および読出速度は共に同一であり、画像データの書込処理が読出処理を追い越すことはない。

以上の動作例を踏まえ、次に図５を参照して、手振れ補正や電子ズームを想定した以下の解像度を例に挙げて説明する。

図５の例は、水平１９２０画素×垂直５４０ラインの入力画像解像度を、その画面中央の水平１６００画素×垂直４５０ラインを有効範囲に指定して、水平１４４０画素×垂直５４０ラインの出力画像解像度に解像度変換する様子を示しており、上記解像度で連続３画面の処理を行った場合の画像メモリ１０の推移とタイミングを示している。

横解像度変換部８は、画面１に係る入力画像において、１ラインあたり１９２０画素のデータのうち、制御部６より指定された１６００画素部を抽出し、さらに出力画像の横解像度１４４０に解像度変換する。変換されたラインが縦方向の有効範囲に含まれる場合には、変換したデータを画像メモリ１０上の所定のアドレスに書き込む（期間ｔ１〜ｔ３）。なお、書込アドレスは０から始まり、１ライン書き込む毎に１ライン分加算される。アドレスが画像メモリ１０の最後まで到達した場合は、０に戻って繰り返す。アドレスは、１画面分の処理が終了しても保持され、次画面（画面２）の処理は前画面（画面１）のアドレスから継続して行われる。

縦解像度変換回路９の処理は、画面１に係る画像データの入力から（１／２）Ｖ時間経過後（ｔ２）に処理を開始する。この（１／２）Ｖ時間経過の間に入力画像の半分の横解像度変換が終了し、画像メモリ１０に書き込まれている。縦解像度変換回路９は、図５において、時間ｔ２において画像メモリ１０から処理を行うラインのデータの読出しを開始し、縦出力解像度５４０に解像度変換して出力する。このとき、画像メモリ１０からの読出しアドレスは、画像メモリ１０には有効範囲のラインしか書き込まれていないことを考慮して設定される。

画面１に係る入力画像データの縦解像度変換回路９による読み出し処理は、図５に示すように、ｔ２〜ｔ５の期間にわたって行われ、その期間内の時間ｔ４において、次画面２に係る入力画像データの横解像度変換回路８による画像メモリ１０への書込み処理が開始される。そして、上述と同様にして、画面２に係る画像データの入力から（１／２）Ｖ経過した時間に当該画面２に係る画像データの読み出しが行われ、以降、次なる画面３の書込み及び読出しが順に行われる。

以上の処理の結果、入力画像のうち有効範囲が出力画像の解像度に変換され、入力画像に対して（１／２）Ｖ遅れて出力される。この（１／２）Ｖという出力遅延時間は、従来の出力遅延時間（Ｖ）に比べて、出力画像データの出力をより早く行うことを意味し、これにより、手振れ補正や電子ズームの制御の高速化を図ることができる。

以上のように、本実施の形態によれば、手振れ補正や電子ズームのために１画面（フィールドまたはフレーム）分の容量を必要としていた従来の画像メモリに比べて、画質の劣化や圧縮／伸長回路を追加することなくメモリ容量を半分程度に削減することが可能となるので、画像メモリ１０の小型化および低廉化を図ることができるようになる。

なお、本実施の形態の場合では、入力画像から（１／２）Ｖ遅延して出力画像を出力する関係上、有効範囲の先頭ラインは、入力画面の半分（１／２）より上のラインに限定されることになるが、ビデオカメラの手振れ補正や電子ズームに関しては、画面の中央付近を有効画面とする場合がほとんどなので、特に問題となることはない。

また、入力画像に対する出力画像の出力遅延タイミングは上記（１／２）Ｖに限らず、これよりも早くしたり、遅くすることができる。前者の場合、メモリ容量の更なる削減が図れるが、手振れ補正や電子ズームに必要な有効範囲画像の先頭ラインが画像メモリ１０へ書き込まれていることが制御の上で好ましい。

図６は、本発明の別の動作例を示しており、水平１９２０画素×垂直５４０ラインの入力画像解像度に対し、有効範囲を、水平１６００画素×垂直４５０ライン（画面上部（画面１））、水平９６０画素×垂直７２０ライン（画面中央（画面２））、水平１６００画素×垂直４５０ライン（画面下部（画面３））と変化させ、それぞれ水平１４４０画素×垂直５４０ラインの出力画像解像度に解像度変換するときの画像メモリ１０の推移とタイミングを示している。

図６の例において、画面１、画面２および画面３に対してそれぞれ画面毎に有効範囲の指定が可能となり、また上述と同様の解像度変換処理がなされる結果、入力画像のうち有効範囲が出力画像の解像度に変換され、入力画像に対して（１／２）Ｖ遅れて出力される。なお、この出力画像データの出力は、有効範囲画像のデータ量に関係なく常に一定の読出し速度で行われる。

以上、本発明の実施の形態について説明したが、勿論、本発明はこれに限定されることなく、本発明の技術的思想に基づいて種々の変形が可能である。

例えば以上の実施の形態では、解像度変換部７として、図２に示したように、前段側から横解像度変換回路８、画像メモリ１０および縦解像度変換回路９を順に配置した構成例について説明したが、入力画像の横解像度が出力画像の横解像度より小さい場合には、図３に示すように、前段側から画像メモリ１０、横解像度変換回路８および縦解像度変換回路９を順に配置する構成例も適用可能である。

また、入力画像データの解像度、出力画像データの解像度、有効範囲画像の解像度などは、上述の例に限らないことは言うまでもなく、仕様等に応じて適宜変更することが可能である。

更に、画像表示装置１としてビデオカメラを例に挙げて説明したが、これに限らず、例えばデジタルスチルカメラの動画モード等においも本発明は適用可能である。

本発明の実施の形態による画像表示装置１の概略構成図である。 本発明に係る解像度変換部７の一構成例を示すブロック図である。 解像度変換部７の他の構成例を示すブロック図である。 本発明の一作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 本発明の他の作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 本発明の更に他の作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 従来の画像表示装置の一作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 従来の画像表示装置の他の作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。 従来の画像表示装置の更に他の作用を説明する画像メモリのアドレス推移と画像の入出力タイミングを示すタイミングチャートである。

符号の説明

１…画像表示装置、２…レンズ、３…撮像素子、４…Ａ／Ｄ変換器、５…信号処理回路、６…制御部、７…解像度変換部、８…横解像度変換回路、９…縦解像度変換回路、１０…画像メモリ。

Claims (6)

1. 入力画像データを解像度変換して画像表示する画像表示装置において、
   入力画像データを記憶する画像メモリと、
   前記入力画像データから有効範囲を指定する制御部と、
   前記有効範囲内における画像データを前記画像メモリから読み出して出力画像データの解像度に変換する解像度変換部とを備え、
   前記解像度変換部では、１画面分の画像データの前記画像メモリへの書込みが終了する前に、前記画像メモリから当該１画面分の画像データの読出しが開始される
   ことを特徴とする画像表示装置。
2. 前記解像度変換部は、出力画像データの横解像度に変換した入力画像データを前記画像メモリへ書き込む横解像度変換回路と、前記画像メモリに書き込まれた入力画像データを読み出して出力画像データの縦解像度に変換して出力する縦解像度変換回路とを有する
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記画像メモリに対する前記画像データの入力同期信号と、前記画像メモリからの前記画像データの出力同期信号とが、互いに非同期である
   ことを特徴とする請求項１に記載の画像表示装置。
4. 前記入力同期信号の周期をＶとしたときに、前記出力同期信号は、前記入力同期信号に対して（１／２）Ｖ遅れて出力される
   ことを特徴とする請求項３に記載の画像表示装置。
5. 前記画像メモリの容量は、前記出力画像データの横解像度と、前記出力画像データのライン数の半分との積とされている
   ことを特徴とする請求項１に記載の画像表示装置。
6. 前記画像メモリは、リングバッファでなる
   ことを特徴とする請求項１に記載の画像表示装置。
   
   

Images