JP2017112404A - 画像データ変換装置 - Google Patents

Abstract

【課題】メモリーの使用量を抑制しながら、画像データの規格を変換する。
【解決手段】外部から入力された第１の規格による表示画像の画像データを入力の順番通りに１ラインずつ記憶し、記憶した画像データに基づいて第２の規格による表示画像の画像データを生成する。そして、生成した第２の規格による表示画像の画像データを１ラインずつ順番に出力することで、画像データの規格を第１の規格から第２の規格に変換する。画像データを記憶しておくメモリーの使用量が所定の上限に達したら、新たに入力される画像データがメモリーに記憶されることを一時的に停止する。この際、画像データの記憶を一時的に停止するのは、第１の規格による表示画像のライン単位の画像データに対して行う。
【選択図】図５

Description

本発明は、特定のディスプレイに表示される規格の画像データを、別のディスプレイに表示される規格の画像データに変換するための技術に関する。

今日の車両では、運転者が様々な情報を直感的に把握可能とするために、ディスプレイの画面を介して様々な情報が表示されるようになっている。そして、ディスプレイの画面に表示される画像には、コンピューターが生成した画像や、車載カメラで撮影した画像など、様々な画像が含まれている。
ここで、画像を表す画像データの規格には、複数の規格が存在している。従って、画像を表示する機器（例えばディスプレイ）で採用している規格と、画像を生成する機器（例えば車載カメラ）で採用している規格とが異なる場合も生じる。そこで、このような場合には、画像データ変換装置を用いて画像データの規格を変換することが行われている。

画像データの規格には、１枚の画像を構成する横方向および縦方向の画素数や、１枚の画像中で上下左右の端部に設けられる余白の大きさなどが規定されている。１枚の画像中で余白の領域を除いた残りの領域が、実質的に画像を表示する領域（以下、表示領域）となるから、表示領域の大きさも規格に応じて異なった大きさとなる。
また、ディスプレイでは、１秒間に所定の枚数（代表的には６０枚）の画像を表示しており、これに応じて画像データの規格でも１秒間に入出力する画像の枚数が規定されている。１枚分の画像データの入出力は、画像の上端から順番にライン単位で行われ、１ライン分の画像データが入出力される速度も、規格に応じて異なったものとなる。

画像データの規格を変換する処理は、次のような方法で実現することができる。先ず、入力側の規格に応じた１枚分の画像をメモリーに入力する。次に、その中から、入力側の規格で定まる表示領域の大きさの画像を、出力側の規格に応じた表示領域の大きさの画像に変換する。そして、変換して得られた画像が表示領域の画像となっており、且つ、出力側の規格に応じた１枚分の画像データを生成する。その後、こうして得られた画像データを、出力側の規格に応じた速度で、画像の上端から順番に１ラインずつ出力する。こうすれば、画像データの規格を変換することができる。

もっとも、このような方法によって画像データの規格を変換したのでは、多くのメモリーが必要となる。そこで、画像データは画像の上端から１ラインずつ順番に入力されることに着目して、ラインメモリーを用いて変換する方法も提案されている（特許文献１）。この提案の技術では、次のようにして画像データの規格を変換する。
先ず、入力される画像データが、表示領域を通過するライン（以下、表示ライン）の画像データか否かを判断し、表示ラインの画像データであった場合には、１ラインずつラインメモリーに記憶する。そして、一定本数（例えば３本）のラインの画像データが溜まったら、それらの画像データを用いて生成できる範囲で、出力側の規格に応じた表示領域の画像を生成する。入力側の規格の表示領域の上端からある程度の範囲の画像が分かれば、出力側の規格の表示領域の少なくとも上端部分の画像を生成することができる。その後、生成した表示領域の画像データを、出力側の規格に応じた速度で１ラインずつ出力していく。こうして、表示ラインの画像データを１ラインずつラインメモリーに記憶していき、生成可能となった範囲内で出力側の規格の表示領域の画像データを次々に生成して、出力側の規格に応じた速度で１ラインずつ出力していく。また、こうして画像の上端から順番に画像を変換していくと、始めの方にラインメモリーに記憶した画像データは不要となるので、その画像データは削除して、新たに入力されたラインの画像データを記憶すればよい。
こうすれば、数ライン分のラインメモリーを用意しておくことで、次々と入力される画像データを、異なる規格の画像データに変換して出力することが可能となると考えられる。

特開２０００−３５１２４２号公報

しかし、提案されている技術では、数ライン分のラインメモリーではメモリーが大幅に不足するという事態が、かなりの頻度で発生するという問題があった。
この理由について詳しく検討したところ、以下のような事実が判明した。先ず、上述したように、画像の大きさ（すなわち、横方向および縦方向の画素数）は、画像データの規格に応じて異なっており、実質的に画像を表示する表示領域の大きさも、規格に応じて異なっている。従って、１枚の画像を形成する全ラインの中で、表示領域を通過する表示ラインが占める比率は、規格に応じて異なった比率となる。
その一方で、１秒間に出力する画像の枚数は、多くの規格で同じ枚数（代表的には６０枚）となっていることから、１枚分の画像データが入出力される時間も多くの規格で同じとなる。ところが、１枚の画像中で表示ラインが占める比率は規格に応じて異なっているから、表示ラインを入出力するために要する時間も規格に応じて異なった時間となる。例えば、規格Ａの画像データを規格Ｂの画像データに変換するとして、規格Ａでは規格Ｂよりも、画像中の全ラインの中で表示ラインが占める比率が小さかったとする。このような場合には、規格Ａで表示領域の画像データの入力に要する時間よりも、規格Ｂで表示領域の画像データの出力に要する時間の方が長くなる。このため、既に入力が完了した分の画像データであっても、出力の処理を進めることができず、結局は、処理が進められるようになるまでメモリーに記憶しておく必要が生じる。この時に記憶する必要が生じる画像データのデータ量は、上記の提案された技術で想定される数ライン分よりも遥かに大きくなる。そして、このような事態は、画像データの変換前の規格と変換後の規格との組み合わせに応じて、様々な場合に生じる。このため、メモリーが大幅に不足するという事態がかなりの頻度で発生していることが判明した。

この発明は、従来の技術が有する上述した課題に鑑みてなされたものであり、メモリーの使用量を抑制しながら、画像データの規格を変換することが可能な技術の提供を目的とする。

上述した課題を解決するために本発明の画像データ変換装置は、外部から入力された第１の規格による表示画像の画像データを入力の順番通りに１ラインずつ記憶し、記憶した画像データに基づいて第２の規格による表示画像の画像データを生成する。そして、生成した第２の規格による表示画像の画像データを１ラインずつ順番に出力することで、画像データの規格を第１の規格から第２の規格に変換する。ここで、第１の規格による表示画像の１枚分の画像データを入力するのに要する時間よりも、第２の規格による表示画像の１枚分の画像データを出力するのに要する時間の方が長い場合には、画像データ変換装置内のメモリーの使用量が増加していくことになる。そこで、メモリーの使用量が所定の上限に達している間は、新たに入力される画像データがメモリーに記憶されることを一時的に停止する。この際、画像データの記憶を一時的に停止するのは、第１の規格による表示画像のライン単位の画像データに対して行う。

このようにして、メモリーに記憶する画像データのデータ量を減らすことにより、メモリー内の画像データに基づいて生成する第２の規格による表示画像の画像データのデータ量も減るため、画像データを出力するのに要する時間が短くなる。これにより、第１の規格による表示画像の１枚分の画像データを入力するのに要する時間と、第２の規格による表示画像の１枚分の画像データを出力するのに要する時間との差が小さくなるため、メモリーの使用量を抑制しながら、画像データの規格を変換することが可能となる。
また、画像データの記憶をライン単位で停止することにより、第１の規格による表示画像から１ラインないし数ライン間引いた表示画像の画像データを記憶することになる。この際、第１の規格による表示画像で間引いたラインが存在した部分については、次に入力されるラインを詰めて記憶することになり、変換後の第２の規格による表示画像において、間引いた部分に表示の欠落が生じることは無い。

また、上述した課題を解決するために本発明は以下に示す態様で把握することもできる。先ず、上記の態様の画像データ変換装置では、メモリーの使用量が所定の上限に達したら、新たに入力される画像データの記憶を一時的に停止することで、変換前の画像データをライン単位で間引き、画像データの出力に要する時間を短くしていた。これに対して、この態様の画像データ変換装置では、メモリーの使用量が所定の上限に達したら、変換後の第２の規格による表示画像から画像データをライン単位で間引くことで、画像データの出力に要する時間を短くする。
こうすることによっても、上記の態様の画像データ変換装置と同様に、メモリーの使用量を抑制しながら画像データの規格を変換することが可能となる。

第１実施例による画像データ変換装置１０が画像データを変換する大まかな様子を示す説明図である。 ディスプレイ１およびディスプレイ２それぞれの画面サイズと、これらに画像データを入力する様子を示す説明図である。 画像データ変換装置１０がディスプレイ１の規格の画像データを入力する時間と、ディスプレイ２の規格の画像データを出力する時間との関係を示す説明図である。 画像データ変換装置１０の内部構造を示すブロック図である。 １枚分の画像データを変換する際のメインメモリー１３の使用量を示す説明図である。 新たな画像データの記憶を停止して再開するタイミングを示す説明図である。 間引いたラインの次のラインの画像データを平均化する際の処理の手順を示す模式図である。 第２実施例による画像データ変換装置２０の内部構造を示すブロック図である。 出力メモリー２５に記憶されている画像データを間引く様子を示す模式図である。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．第１実施例 ：
図１には、第１実施例の画像データ変換装置１０が画像データを変換する大まかな様子が示されている。図示されるように、画像データ変換装置１０は、ディスプレイ１に表示される規格の画像データを入力して、ディスプレイ２に表示される規格の画像データに変換して出力する。本実施例でいう画像データの規格とは、次のようなものである。
一般的にディスプレイでは、リフレッシュレートと呼ばれる所定の周期に従って表示中の画像を更新しており、ディスプレイに入力される画像データは、リフレッシュレートに従ったタイミングで１枚分ずつ入力される。１枚分の画像を表す画像データには、各画素の色を指示する画像データがディスプレイの画素数だけ含まれており、ディスプレイでは、各画素が画像データに従った色を表示することによって、画面全体として所定の画像を表示する。ここで、ディスプレイの画面サイズや画素同士の間隔が異なる二つのディスプレイでは、画素数も異なる。従って、特定のディスプレイで表示されるように生成された規格の画像データを、別のディスプレイに表示したい場合には、画像データの規格を変換する必要がある。本実施例の画像データ変換装置１０は、このような画像データの規格を変換するための装置である。
尚、上記のリフレッシュレートは、毎秒６０枚の画像を更新するように設定されることが多く、本実施例におけるディスプレイ１およびディスプレイ２も、同じリフレッシュレートで画像を更新するものとする。

図２（ａ）には、ディスプレイ１の画面サイズと、ディスプレイ１の各画素に画像データが入力される順番とが示されている。左上の拡大図に示されるように、ディスプレイ１の画面には横方向および縦方向それぞれに、画素が一定間隔で整列している。画素毎の画像データがディスプレイ１に入力される際には、画面左上の画素から右に向かって１つずつ入力され、横方向に並ぶ１ライン目の入力が終わると、１画素分下がって、再び左から右に向かって２ライン目が入力される。以降も同様にディスプレイ１の縦方向の画素数分だけ１ラインずつ入力が繰り返されて、１枚分の画像データが入力されることになる。
ここで、１枚分の画像データは、画像データの規格に基づく一定の速度で入力されるため、画素毎の画像データは、ピクセルクロックと呼ばれる所定のタイミングに従って１画素ずつ同じ時間を掛けて入力されることになる。この入力時間についてライン単位で考えると、各ラインの画素数は同じであるから、１ラインずつ同じ時間を掛けて入力されることになる。もっとも、画面上の全ての画素が表示に使用されるわけではなく、画面の上下左右の端の領域を除いた表示領域（図中の斜線部参照）に存在する画素が表示に使用される。このため、表示領域を通過するラインを入力するタイミングでは画像データが転送されるが、表示領域を通過しないラインを入力するタイミングでは実際には画像データが転送されないことになる。

ディスプレイ２もディスプレイ１と同様にして画像データが入力される。ただし、図２（ｂ）に示されるように、ディスプレイ２は、画面サイズがディスプレイ１とは異なり、従って、画素数も異なる。また、ディスプレイ２は、画面サイズに対する表示領域の比率がディスプレイ１よりも大きいディスプレイである。

このようなディスプレイ１と、ディスプレイ２とのそれぞれに、同じリフレッシュレートで画像データを入力することを考える。図２（ｃ）にはディスプレイ１に入力される３枚分の画像データの入力時間が示され、同じく図２（ｄ）にはディスプレイ２に入力される３枚分の画像データの入力時間が示されている。これらの図中では下方に向かって時間が経過する共通の時間軸が設定されている。リフレッシュレートが同じであるから、１枚分の画像データは、ディスプレイ１およびディスプレイ２それぞれに同じ時間を掛けて入力される。また、１枚分の画像データの中では、１ラインずつ一定の時間を掛けて入力されるから、入力は縦方向に一定の速度で進むことになる。従って、ディスプレイ１およびディスプレイ２それぞれに入力される１枚分の画像データは、共通の時間軸上では、画面サイズや画素数の違いによらず、縦方向のサイズが同じサイズで表されることになる。

ここで、時刻がｔ１のとき、ディスプレイ１およびディスプレイ２ではそれぞれ、図中の矢印の位置にあるラインの画像データを入力している。この矢印の位置にあるラインは、ディスプレイ１の画面では表示領域を通過しないライン（以下、非表示ライン）であるから、実際には画像データが転送されていないことになる。一方、ディスプレイ２の画面では、矢印の位置にあるラインは表示領域を通過するライン（以下、表示ライン）であるから、実際に画像データが転送されている。１枚分の画像データの入力を開始した時刻が、ディスプレイ１とディスプレイ２とで同じであるにも関わらず、このような違いが生じるのは、ディスプレイ１よりもディスプレイ２の方が、画面上の全ライン数（すなわち、表示ライン数と非表示ライン数との合計数）に対して、表示ライン数の比率が大きいことによる。

更に、入力中の画像データが非表示ラインであるか表示ラインであるかということを各ラインについて考えれば、表示ラインを入力している時間の合計が、１枚分の画像データを入力する際の実質的な転送時間となる。そうすると、全ライン数に対する表示ライン数の比率がディスプレイ１よりもディスプレイ２の方が大きいことから、図示されるように、ディスプレイ１の実質的な転送時間はＴａとなり、ディスプレイ２の実質的な転送時間はＴａよりも長いＴｂとなる。
このように、リフレッシュレートが同じであっても、１枚分の画像データの実質的な転送時間が異なることから、ディスプレイ１の規格の画像データを入力して、ディスプレイ２の規格の画像データに変換して出力する際には、以下のような問題が生じる。

図３には、画像データ変換装置１０がディスプレイ１の規格の画像データを入力する時間と、ディスプレイ２の規格の画像データを出力する時間との関係が示されている。図３でも、図２と同様に下方に向かって時間が経過する共通の時間軸が設定されている。また、ディスプレイ１およびディスプレイ２はリフレッシュレートが同じであるから、ディスプレイ１に表示される画像（以下、入力画像）の１枚分の画像データを入力する時間と、ディスプレイ２に表示される画像（以下、出力画像）の１枚分の画像データを出力する時間とが同じ時間である。図中で、入力を開始する時刻よりも出力を開始する時刻の方が遅いのは、画像データの入力を受けて出力が開始されることを表している。

ここで、入力画像の特定のラインの画像データを入力する時刻と、そのラインの画像データを変換して出力する時刻との関係を考える。入力画像で上部に位置するａ１のラインの画像データは、出力画像でも上部に位置するａ２のラインに出力され、入力してから出力するまでの時間差は僅かである。
しかし、上記したように、１枚分の画像データの入力に要する実質的な転送時間よりも、出力に要する実質的な転送時間の方が長いことから、特定のラインの画像データを入力してから、そのラインの画像データを変換して出力するまでの時間差は徐々に大きくなる。従って、入力画像で下部に位置するｂ１のラインの画像データを入力した時刻では、出力画像では未だ図中の破線で示したラインを出力しており、ｂ１のラインの画像データを変換してｂ２のラインとして出力するまでに、大きな時間差が生じることになる。

特定のラインの画像データを入力してから、そのラインの画像データを変換して出力するまでの間、入力した画像データは、画像データ変換装置１０の内部で一時的に保存しておくことになる。上記のように、特定のラインの画像データを入力してから出力するまでの時間差が大きくなると、入力した画像データを画像データ変換装置１０の内部で一時保存しておく時間も長くなる。その一方で、新しい画像データが次々に入力されるため、時間の経過とともに保存するデータ量が増加していくことになる。その最大時のデータ量であっても保存できるようにするためには大きな容量のメモリーが必要となるが、画像データ変換装置１０は、以下のような構造を備えることによって、メモリーの容量が少なくて済むようにしている。

図４には、画像データ変換装置１０の内部構造が示されている。図示されるように、画像データ変換装置１０は、入力部１１と、切換部１２と、メインメモリー１３と、画像データ生成部１４と、出力部１５とを備える。
入力部１１は、ディスプレイ１に表示される規格の画像データを、その規格のピクセルクロックに従って外部から入力する。
切換部１２は、入力した画像データの送り先を、後述の条件に従って切り換える。条件を満たさない通常時では、入力した画像データをメインメモリー１３に送る。
メインメモリー１３は、画像データを一時的に記憶しておく記憶装置である。尚、メインメモリー１３が本発明の「入力データ記憶部」に対応する。
画像データ生成部１４は、入力した画像データ、すなわち、ディスプレイ１に表示される規格の画像データを参照して、ディスプレイ２に表示される規格の画像データを生成する。生成した画像データについてもメインメモリー１３に記憶される。従って、メインメモリー１３には、入力時の規格の画像データと、生成した新しい規格の画像データとが記憶されることになる。
出力部１５は、画像データ生成部１４が生成した画像データを、ディスプレイ２に表示される規格に従って出力する。

また、画像データ変換装置１０は、図４に示されるように、消去部１６と、使用量確認部１７とを備える。
消去部１６は、メインメモリー１３に記憶されている画像データのうち、不要になった画像データを消去する。上記したように、入力した画像データを参照して規格を変換した画像データを生成するが、入力した画像データのうち参照が終わった画像データについては不要となる。また、生成された画像データのうち出力部１５が出力し終わった画像データについても不要となる。
尚、ここでいう画像データの消去とは、不要になった画像データを新しく入力した画像データや新しく変換した画像データで上書きすることを含む。また、消去部１６が本発明の「入力データ消去部」に対応する。

使用量確認部１７は、メインメモリー１３の使用量を確認する。メインメモリー１３の使用量は、入力時の規格の画像データと、変換後の新しい規格の画像データとの合計量から、消去した画像データの量を差し引いた値となる。ここで、図２および図３を示して説明したように、画像データの入力よりも出力の方が時間を要することから、メインメモリー１３の使用量は、１枚の画像データを変換する間に徐々に増加していくことになる。使用量確認部１７は、このようなメインメモリー１３の使用量を確認して、所定の閾値に達したか否かを判定する。そして、所定の閾値に達した場合には、切換部１２にその旨の情報を伝達する。

切換部１２は、メインメモリー１３の使用量が所定の閾値に達したことを条件に、入力部１１が入力した画像データの送り先を、メインメモリー１３から間引きメモリー１８に一時的に切り換える。画像データの送り先を切り換えている間は、入力した画像データをメインメモリー１３に記憶することが一時的に停止されることになる。このことから、切換部１２は、本発明の「記憶停止部」に対応する。

ここで、図５を参照して、新たな画像データの記憶を停止する場合と、停止しない場合とのメインメモリー１３の使用量の変化について説明する。
先ず、図５（ａ）に示すように、入力した１枚分の画像データをメインメモリー１３に記憶し続ける場合から説明する。図示されるように、画像データの入力を開始したことにより、メインメモリー１３の使用量が増加を始める。上述したように、画像データ生成部１４は、入力した画像データを参照して出力する画像データを生成することから、画像データの入力を開始してから、少し遅れて出力を開始することになる。出力を開始したことにより、不要になった画像データは順次消去されていくが、上述したように、画像データの入力よりも出力の方が時間を要することから、出力を開始した後も、メインメモリー１３の使用量は徐々に増加していく。そして、入力が終了した時に、図中のＭで表されるように、メインメモリー１３の使用量は最大となる。

これに対して、メインメモリー１３の使用量が所定の閾値に達した時に、新たな画像データの記憶を一時的に停止する場合、メインメモリー１３の使用量は、図５（ｂ）に示すようなものとなる。図示されるように、新たな画像データの記憶を停止しても出力は続いているので、メインメモリー１３の使用量は時間の経過とともに減少していく。新たな画像データの記憶の停止は一時的なものであるから、記憶を再開した時に、メインメモリー１３の使用量は増加に転じることになるが、使用量が再び所定の閾値に達したら、再び新たな画像データの記憶は停止される。従って、この場合のメインメモリー１３の最大使用量は、閾値を大きく超えることは無く、大幅に抑制されることになる。

続いて、図６を参照して、新たな画像データの記憶を停止して再開するタイミングについて説明する。
図６（ａ）には、入力した１枚分の画像データが示されている。図中の黒く塗りつぶした箇所は、メインメモリー１３が新たな画像データの記憶を停止している間に、入力部１１が画像データを入力した分の画素を表している。図中の（１）で示される場合は、所定のラインの画像データを入力している途中のタイミングでメインメモリー１３への記憶を停止し、その次のラインの画像データを入力している途中のタイミングで記憶を再開している。
一方、図中の（２）で示される場合では、所定のラインの最初の画素の画像データを入力するタイミングでメインメモリー１３への記憶を停止し、そのラインの最後の画素の画像データを入力するタイミングで記憶を再開している。このようなタイミングで記憶を停止して再開すると、入力画像から、ちょうど１ライン分の画像データを間引いて記憶することになる。

図６（ｂ）には、上記の（１）および（２）のようにして画像データの記憶を一時的に停止した場合において出力した画像データが示されている。図示されるように、（１）の場合では、画像データの記憶を一時的に停止した部分については、何れの色も表示されない暗表示となる。これは、画像データの記憶を停止する前後に入力された画素（図６（ａ）拡大図の斜線部の画素）の画像データについては出力されるため、その前後の間のタイミングでも所定のピクセルクロックに従って出力されることになるが、この部分については、出力すべき画像データが存在しないことによる。
これに対して、（２）の場合では、ちょうど１ライン分の画像データを間引いて記憶したので、間引いた１ラインが存在しない状態で画像データが変換される。そして、入力画像で間引いた１ライン分の画像データが存在した箇所は、出力画像においては、ディスプレイ２の規格のピクセルクロックに従って、次のラインの画像データが詰めて出力されることになる。このとき、出力画像の表示領域における最下部には、詰めて出力した分だけ暗表示のラインが生じるが、この暗表示のラインは直ぐ下の非表示領域と一体化するため、目立つことは無い。

以上説明したことから、新たな画像データの記憶を停止するタイミングは、ラインの最初の画素の画像データを入力するタイミングとし、記憶を再開するタイミングは、ラインの最後の画素の画像データを入力するタイミングとする。こうすることで、新たな画像データの記憶を停止したことによって出力画像で発生する暗表示の画素を、出力画像の最下部に生じさせて目立たなくすることができる。
このようなタイミングで新たな画像データの記憶を停止して再開すると、画像データの記憶をライン単位で間引くことになるが、一度に多数のラインを間引くと、出力画像中で画像データを間引いた部分に生じる画像内容の段差が目立ってしまう。そこで、一度に間引くのは１ラインだけとなるように、新たな画像データの記憶を一時的に停止する時間は、１ライン分の画像データの入力時間であることが望ましい。

ここで、１枚分の画像データを変換する際に間引くライン数について、規格の具体例を挙げて説明する。
例えば、ディスプレイ１がＷＶＧＡと呼ばれる規格を採用して、横方向の画素数および縦方向の画素数が１０５６×５２５で構成され、そのうち表示領域の画素数が８３２×４９６であるとする。また、ディスプレイ２がＨＤＴＶと呼ばれる規格を採用して１６５０×７５０で構成され、表示領域の画素数が１２８０×７２０であるとする。

先ず、入力側のＷＶＧＡの規格では、全ライン数に対する表示ライン数の比率が、
４９６（縦方向の表示画素数）÷５２５（縦方向の総画素数）×１００≒９４．５％
であり、リフレッシュレートによって定まる１枚分の画像データを入力する時間のうち、９４．５％の時間が実質的な入力時間となる。
一方、出力側のＨＤＴＶの規格では、全ライン数に対する表示ライン数の比率が、
７２０（縦方向の表示画素数）÷７５０（縦方向の総画素数）×１００＝９６．０％
であり、同じく９６．０％の時間が実質的な出力時間となる。
ここで、ディスプレイ１およびディスプレイ２は共にリフレッシュレートが６０Ｈｚであり、毎秒６０枚の画像を更新するから、１枚分の画像データを変換する際における、画像データの実質的な入力時間と出力時間との差は、
（０．９６−０．９４５）×（１／６０）＝０．２５（ｍｓｅｃ）
となり、入力時間よりも出力時間の方が約０．２５ｍｓｅｃ長いことになる。

この０．２５ｍｓｅｃの間に、ＷＶＧＡの規格で入力されるライン数を考えると、１ライン当たりの入力時間が（１／６０）÷５２５×１０００（ｍｓｅｃ）であるから、
０．２５÷｛（１／６０）÷５２５×１０００｝＝７．８７５（ライン）
となり、０．２５ｍｓｅｃの間に入力されるライン数は約８ラインとなる。入力画像からメインメモリー１３に記憶する画像データを間引けば、間引いた分だけ出力時間が短くなるから、入力画像から８ライン分の画像データを間引いて記憶すれば、０．２５ｍｓｅｃという入力時間と出力時間との差を無くすことになる。ここで、図３を用いて説明したように、１枚分の画像データを変換する中で、時間の経過とともにメインメモリー１３の使用量が増加していくのは、入力時間よりも出力時間の方が長いからであった。従って、入力画像から８ライン分の画像データを間引いて、入力時間と出力時間との差を無くせば、メインメモリー１３の使用量が増加することを防ぐことができる。

ここで、上述したように、メインメモリー１３の閾値を設定したことから、画像データの記憶の一時的な停止は、１枚分の画像データを変換する中で定期的に行われる（図５（ｂ）参照）。従って、この例では、入力画像中の表示ラインである４９６ラインの中から、８ライン分の画像データを、一定の間隔で１ラインずつ間引くことになるため、４９６÷８＝６２より、６２ラインに１回の割合で１ラインずつ間引くことになる。このように、入力画像全体から偏りなく間引くことで、入力画像の内容を殆んど変えることなく、画像データを出力画像の規格に変換することができる。
尚、この例で、出力時間が短くなった０．２５ｍｓｅｃの間にＨＤＴＶの規格で出力されるライン数を考えると、
０．２５÷｛（１／６０）÷７５０×１０００｝＝１１．２５（ライン）
であるから、入力画像から８ライン分の画像データを間引いて記憶すると、出力画像の下部に１１本分の暗表示ラインが生じることになる。

ここまでは、入力画像から画像データを間引いて記憶することで、メインメモリー１３の使用量を抑制し、また、１ラインずつ間引くことで、出力画像中で間引いた部分を目立たなくすることを説明した。ここからは、画像データを間引いた部分を更に目立たなくするための処理について説明する。
図４に示されるように、画像データ変換装置１０は、間引きメモリー１８と、平均化フィルター１９とを備える。
間引きメモリー１８は、入力画像から間引いたラインの画像データを記憶する。
平均化フィルター１９は、間引いたラインの次のラインの画像データを、間引いたラインの画像データを用いて平均化の処理を施してからメインメモリー１３に送る。尚、平均化フィルター１９が本発明の「再開ライン画像データ生成部」に対応する。

図７には、間引いたラインの次のラインの画像データを平均化する際の処理の手順が模式的に示されている。
上述したように、切換部１２は、入力部１１が入力した入力画像の画像データを原則としてメインメモリー１３に送っており、図中では「ｉ」、「ｊ」、「ｋ」、「ｌ」で示されたラインの画像データがこの原則に対応してメインメモリー１３に記憶されている。その後、切換部１２は、メインメモリー１３の使用量が所定の閾値に達したことを条件に、画像データの送り先を、メインメモリー１３から間引きメモリー１８に切り換える。この結果、「ｍ」のラインについては、メインメモリー１３の記憶から間引かれて、間引きメモリー１８に記憶されることになる。

ここで、切換部１２は、１ライン分の画像データを間引きメモリー１８に送った後は、画像データの送り先を間引きメモリー１８から平均化フィルター１９に切り換えるように動作する。図７で言えば、間引いた「ｍ」のラインの次の「ｎ」のラインの画像データが平均化フィルター１９に送られることになる。
平均化フィルター１９では、切換部１２から送られる「ｎ」のラインの画像データを、間引きメモリー１８に記憶されている「ｍ」のラインの画像データに基づいて平均化する。平均化としては例えば、「ｎ」のラインの各画素の輝度値やＲＧＢ値と、「ｍ」のラインの各画素の輝度値やＲＧＢ値との中間となる値の画像データを生成することが考えられる。あるいは、「ｎ」のラインにおける奇数番目の画素と、「ｍ」のラインにおける偶数番目の画素とを交互に並べた画像データを生成するようにしてもよい。

平均化フィルター１９で生成された「ｍ＋ｎ」のラインの画像データは、メインメモリー１３に送られる。上記したようにメインメモリー１３では、「ｍ」のラインの画像データの記憶が間引かれているから、「ｍ＋ｎ」のラインの画像データは、入力画像では「ｍ」のラインの画像データが存在していた位置に詰めて記憶されることになる。
そして、切換部１２は、平均化フィルター１９に１ライン分の画像データを送った後、画像データの送り先を平均化フィルター１９からメインメモリー１３に切り換える。その結果、メインメモリー１３には、「ｍ＋ｎ」のラインの次から「ｏ」のライン、「ｐ」のラインと、入力画像の順番通りに画像データが記憶されることになる。

以上のようにして、入力画像から間引いたラインの次のラインの画像データに対して平均化の処理を施してからメインメモリー１３に記憶することによって、出力画像において間引いた部分に生じる画像の段差を目立たなくすることができる。

Ｂ．第２実施例 ：
上述したように、第１実施例の画像データ変換装置１０では、メインメモリー１３の使用量が所定の閾値に達したら、入力される画像データの記憶を一時的に停止していた。こうすることで、入力した画像データを間引いて出力することになるため、入力時の規格の画像データよりも、出力時の規格の画像データの方が実質的な転送時間が長い場合であっても、メインメモリー１３の使用量を抑制することが可能となる。
しかし、入力した画像データを間引いて出力するには、入力される画像データの記憶を一時的に停止することに限られず、入力される画像データを一旦は記憶しておき、変換した画像データを出力する際に間引くことでも実現できる。第２実施例では、このように画像データを出力する際に間引く場合について説明する。
尚、第１実施例と共通する点についてはその説明を援用し、異なる点に焦点を当てて説明する。

図８には、第２実施例による画像データ変換装置２０の内部構造が示されている。図示されるように、画像データ変換装置２０は、入力部２１と、入力メモリー２２と、画像データ生成部２３と、消去部２４とを備える。入力部２１は、ディスプレイ１に表示される規格の画像データを、その規格のピクセルクロックに従って入力メモリー２２に入力する。画像データ生成部２３は、入力メモリー２２に記憶された画像データを参照して、ディスプレイ２に表示される規格の画像データを生成する。消去部２４は、入力メモリー２２に記憶されている画像データのうち、画像データ生成部２３が参照し終わって不要となった画像データを消去する。

また、図示されるように、画像データ変換装置２０は、出力メモリー２５と、出力部２６と、消去部２７と、使用量確認部２８と、出力ライン間引部２９とを備える。
出力メモリー２５は、画像データ生成部２３が生成した画像データを受け取って、出力が完了するまで一時的に記憶しておく。尚、出力メモリー２５が本発明の「出力データ記憶部」に対応する。
出力部２６は、出力メモリー２５に記憶されている画像データを、ディスプレイ２に表示される規格に従って出力する。
消去部２７は、出力メモリー２５に記憶されている画像データのうち、出力部１５が出力し終わって不要となった画像データを消去する。尚、消去部２７が本発明の「出力済データ消去部」に対応する。
使用量確認部２８は、入力メモリー２２の使用量と、出力メモリー２５の使用量との合計使用量を確認して、所定の閾値に達したか否かを判定する。そして、所定の閾値に達した場合には、出力ライン間引部２９にその旨の情報を伝達する。
出力ライン間引部２９は、入力メモリー２２および出力メモリー２５の合計使用量が所定の閾値に達したら、出力メモリー２５に記憶されている画像データを間引く。尚、出力ライン間引部２９が本発明の「ライン数減少部」に対応する。

図９には、出力メモリー２５に記憶されている画像データを間引く様子が模式的に示されている。図９（ａ）に示された時の出力メモリー２５では、画像データ生成部２３から入力した順番に「ｉ」、「ｊ」、「ｋ」、「ｌ」、「ｍ」のラインの画像データが記憶されており、「ｎ」のラインの画像データが新たに記憶されている。ここで、「ｎ」のラインの画像データを新たに記憶したタイミングで、使用量確認部２８が所定の閾値に達したと判定したとする。これを受けて、出力ライン間引部２９は、図９（ｂ）に示されるように、「ｍ」のラインの画像データと、「ｎ」のラインの画像データとを平均化して、「ｍ＋ｎ」の画像データを生成する。これにより、「ｎ」のラインの画像データ（または「ｍ」のラインの画像データ）が間引かれることになる。平均化の処理を施すのは、出力部２６が出力している最中の「ｉ」のラインを除けば、「ｍ」のラインおよび「ｎ」のライン以外の組み合わせであってもよい。

上記のようにして画像データを削減した後、画像データ生成部２３から新たに入力した「ｏ」のラインの画像データについては、図９（ｃ）に示されるように、上記の平均化の処理によって間引かれた「ｎ」のラインの画像データの代わりに記憶されることになる。新たに「ｏ」ラインの画像データを記憶しても、「ｉ」のラインの画像データは、出力が終わり次第、消去されるため、暫くは使用量確認部２８が所定の閾値に達したと判定することはない。
もっとも、上述の第１実施例と同様に、入力部２１がディスプレイ１の規格の画像データを入力する時間よりも、出力部２６がディスプレイ２の規格の画像データを出力する時間の方が長いことから、入力メモリー２２および出力メモリー２５の合計使用量は徐々に増加していくことになる。従って、やがては所定の閾値に達したと判定されることになり、出力ライン間引部２９は、再び、上記のようにして出力メモリー２５に記憶されている画像データを間引く。
第２実施例による画像データ変換装置２０では、こうした動作を繰り返すことによって、入力した画像データを間引いて出力し、第１実施例による画像データ変換装置１０と同様に、メモリーの使用量を抑制することができる。

尚、上述のＷＶＧＡの規格の画像データからＨＤＴＶの規格の画像データに変換する場合には、表示ラインが４９６ラインの画像データから７２０ラインの画像データへと変換する。入力画像の１ライン分の画像データについて見れば、出力画像の約１．５ライン分の画像データとして変換されることになる。この場合、第１実施例による画像データ変換装置１０では、入力画像から１ラインずつ画像データを間引くため、出力画像では約１．５ライン分の画像データを間引くことになる。
これに対して第２実施例による画像データ変換装置２０では、出力画像から１ラインずつ間引くため、１回当たりに間引く画像の内容が約１．５ライン分よりも少ないことになり、画像データを間引いた部分の段差がより目立ち難くなる。
同様にして、別の画像データの規格で、入力画像の表示ライン数よりも出力画像の表示ライン数の方が少ない場合には、第２実施例による画像データ変換装置２０よりも第１実施例による画像データ変換装置１０の方が、画像データを間引いた部分の段差が目立ち難いことになる。

尚、第１実施例による画像データ変換装置１０および第２実施例による画像データ変換装置２０は、ＦＰＧＡ（すなわちＦｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）と呼ばれる論理回路により実現することが考えられる。ＦＰＧＡは製品によってメモリー容量が決まっており、メモリー容量を増やすためには大きなコストが必要となるので、できるだけメモリー使用量を抑制することが望まれる。この点で、上述したように、画像データ変換装置１０および画像データ変換装置２０の何れも、メモリーの使用量を抑制することができるため、メモリー容量が小さく低コストのＦＰＧＡを使用することが可能となる。
もちろん、画像データ変換装置１０および画像データ変換装置２０は、ＦＰＧＡに限られず、ＬＳＩやメモリーやタイマーを含むその他の電子回路として実現してもよいし、ＣＰＵで実行されるコンピュータープログラムとして仮想的に実現してもよいし、あるいは、これらを組み合わせて実現してもよい。

１…ディスプレイ、 ２…ディスプレイ、 １０…画像データ変換装置、
１１…入力部、 １２…切換部、 １３…メインメモリー、
１４…画像データ生成部、 １５…出力部、 １６…消去部、
１７…使用量確認部、 １８…間引きメモリー、 １９…平均化フィルター、
２０…画像データ変換装置、 ２１…入力部、 ２２…入力メモリー、
２３…画像データ生成部 ２４…消去部、 ２５…出力メモリー、
２６…出力部、 ２７…消去部、 ２８…使用量確認部、
２９…出力ライン間引部。

Claims (4)

1. 表示画像の第１の規格による画像データを受け取って、第２の規格による画像データに変換して出力する画像データ変換装置（１０）であって、
   前記第１の規格によって定まる所定の第１の速度で入力される前記画像データを、前記第１の規格による前記表示画像の１ラインずつのライン画像データとして記憶する入力データ記憶部（１３）と、
   前記入力データ記憶部に記憶されている前記ライン画像データに基づいて、前記第２の規格による前記表示画像の画像データを、所定ライン数ずつ生成する画像データ生成部（１４）と、
   前記画像データ生成部によって生成された前記第２の規格による画像データを、前記第２の規格によって定まる所定の第２の速度で１ラインずつ出力する出力部（１５）と、
   前記入力データ記憶部に記憶されている前記ライン画像データの中で、前記第２の規格による画像データの生成に不要となった前記ライン画像データを消去する入力データ消去部（１６）と、
   前記入力データ記憶部に記憶されている前記ライン画像データのライン数が、所定の上限数に達している間は、前記入力データ記憶部に新たに入力されるライン画像データが記憶されることを一時的に停止する記憶停止部（１２）と
   を備える画像データ変換装置。
2. 請求項１に記載の画像データ変換装置であって、
   前記記憶停止部によって前記ライン画像データの記憶が停止された後、前記入力データ記憶部が新たな前記ライン画像データの記憶を再開する際に、前記ライン画像データの記憶を停止している時に入力された前記ライン画像データと、前記新たなライン画像データとに基づいて、１ライン分の再開ライン画像データを生成する再開ライン画像データ生成部（１９）を備え、
   前記入力データ記憶部は、前記再開ライン画像データが生成された場合には、前記新たなライン画像データの代わりに、前記再開ライン画像データを記憶する
   ことを特徴とする画像データ変換装置。
3. 表示画像の第１の規格による画像データを受け取って、第２の規格による画像データに変換して出力する画像データ変換装置（２０）であって、
   前記第１の規格によって定まる所定の第１の速度で入力される前記画像データを、前記第１の規格による前記表示画像の１ラインずつのライン画像データとして受け取って、前記第２の規格による前記表示画像の画像データを、所定ライン数ずつ生成する画像データ生成部（２３）と、
   前記画像データ生成部によって生成された前記第２の規格による画像データを、該第２の規格による前記表示画像の１ラインずつのライン画像データとして記憶する出力データ記憶部（２５）と、
   前記出力データ記憶部に記憶されている前記ライン画像データを、前記第２の規格によって定まる所定の第２の速度で１ラインずつ出力する出力部（２６）と、
   前記出力データ記憶部に記憶されている前記ライン画像データの中で、前記出力部が出力済みの前記ライン画像データを消去する出力済データ消去部（２７）と、
   前記出力データ記憶部に記憶されている前記ライン画像データのライン数が、所定の上限数に達した場合には、該出力データ記憶部に記憶されており、且つ、前記出力部による出力前の前記ライン画像データに対して、該ライン画像データのライン数を減少させる減少処理を実行するライン数減少部（２９）と
   を備える画像データ変換装置。
4. 請求項３に記載の画像データ変換装置であって、
   前記ライン数減少部は、前記出力データ記憶部に記憶されている前記ライン画像データに対して、２ライン分の前記ライン画像データに基づいて、１ライン分の前記ライン画像データを生成することによって、前記減少処理を実行する
   ことを特徴とする画像データ変換装置。

Images