JP2011097474A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】ＲＡＭ容量が制限される組込み系システムにおいても、サイズの大きな入力画像を編集することができ、かつ、編集画像中に繋ぎ目のような線が現われないようにすることが可能な「画像処理装置および画像処理方法」を提供する。
【解決手段】互いに隣接する分割画像どうしにオーバーラップ領域が含まれるようにして入力画像から複数の分割画像を順次切り出し、切り出した複数の分割画像を１つずつ順に画像編集処理を行うことによって複数の処理画像を生成する。そして、生成した複数の処理画像をオーバーラップ領域を除去して結合することによって出力画像を生成することにより、バッファの画像編集用領域は分割画像１つ分のサイズで済むようにするとともに、分割画像の端部付近においてもオーバーラップ領域の画素値も含めて複数の画素値から正しい演算値を求めることができるようにする。
【選択図】図２

Description

本発明は、画像処理装置および画像処理方法に関し、特に、電子機器の外部から入力した画像データを、当該電子機器の表示装置に表示すべき状態に合わせて編集する画像処理装置に用いて好適なものである。

一般に、パーソナルコンピュータ（以下、パソコン）、ＰＤＡ（Personal Digital Assistant）、携帯電話、ナビゲーション装置、車載オーディオ装置などの電子機器は表示装置を備えており、画像を表示できるようになっている。最近では、パソコン等の汎用システムに限らず、ナビゲーション装置や車載オーディオ装置等の組込み系システムにおいても、リムーバル記録媒体やインターネット等の外部から画像データを入力して表示する機能を備えている。

ところで、電子機器の外部から画像データを入力して表示装置に画像を表示する場合、入力画像のサイズや階調数と、表示装置に表示すべき出力画像のサイズ（表示画素数）や階調数とが異なる場合がある。その場合には、外部から入力した画像に対して拡大、縮小、減色等の編集処理が行われている。例えば、画像編集処理の例として、４画素から成る正方形の領域毎に画素値の平均をとり、平均値をその４画素のデータとして記憶することにより画像を縮小する技術が存在する（例えば、特許文献１参照）。

拡大、縮小、減色等の画像編集処理を行うために、電子機器では、画像編集用にＲＡＭ領域（バッファ）を確保しなければならない。具体的には、入力画像データの編集を行うための画像編集用バッファ、編集された画像データを格納して出力するための画像出力用バッファの２つを必要とする。ところが、パソコン等の汎用システムにおいては比較的大容量のＲＡＭを備えることが可能であるが、組込み系システムにおいてはＲＡＭ容量が制限される。そのため、組込み系システムではサイズの大きな入力画像データの編集には対応できない場合がある。

この問題に対して、入力画像を複数の領域に分割して画像編集用バッファに順に格納し、当該画像編集用バッファに格納した分割領域毎に画像編集処理を行うようにすれば、画像編集バッファに必要なサイズを小さくすることができる。そのため、ＲＡＭ容量が制限される組込み系システムにおいても、サイズの大きな入力画像データの編集に対応可能となる。

しかしながら、分割した画像について特許文献１のように複数画素の画素値を用いて画像編集処理を行う場合、編集した各分割画像を画像出力用バッファで結合して表示装置に表示する際に、分割した境界部分に繋ぎ目のような線が現われてしまうことがあった。

例えば、図７（ａ）のように、縦３×横３の９画素から成る正方形の領域毎に、中央の画素およびそれに隣接する上下左右４画素の画素値の平均をとり、９画素の画素値を１つの平均値に置き換えることによって画像縮小を行う場合を考える。この場合、画像を分割しなければ図７（ａ）のように周囲４画素を参照して平均値を計算できた領域においても、画像を分割したために分割画像の端部に該当してしまうと、図７（ｂ）のように周囲３画素しか参照できなくなってしまい、本来の正しい平均値を計算できなくなってしまう。そのため、編集した各分割画像を結合すると、正しい平均値を計算できていない画素部分が繋がって、繋ぎ目のような線が現われてしまうのである。

なお、同様の問題を解決することを目的として、入力画像を所定の分割線で分割して複数個の分割画像を生成する際に、分割画像に分割線を挟んだオーバーラップ領域を付加し、画像処理した各分割画像を結合する際にオーバーラップ領域を除去するようにした技術が提案されている（例えば、特許文献２参照）。例えば、図７（ｂ）において下側に１ライン分のオーバーラップ領域を付加することにより、図７（ａ）と同様に周囲４画素を参照して正しい平均値を計算することが可能となる。

特開平８−２９４１４２号公報 特開２００５−３４６６３９号公報

しかしながら、上記特許文献２に記載の従来技術では、入力画像を丸ごと処理する場合に比べて処理速度を向上させることを目的として、複数個の分割画像を並列に処理するようにしている。そのため、分割画像の並列処理数に合わせて画像編集用バッファも複数個必要となり、トータルではＲＡＭ容量が小さくなっていない。よって、ＲＡＭ容量が制限される組込み系システムに特許文献２に記載の技術は適用することができない。

本発明は、このような問題を解決するために成されたものであり、ＲＡＭ容量が制限される組込み系システムにおいても、サイズの大きな入力画像を編集することができ、かつ、編集した出力画像中に繋ぎ目のような線が現われないようにすることを目的とする。

上記した課題を解決するために、本発明では、互いに隣接する分割画像どうしにオーバーラップ領域が含まれるようにして入力画像から複数の分割画像を順次切り出し、切り出した複数の分割画像を１つずつ順次、バッファの画像編集用領域に格納していく。そして、画像編集用領域に格納された分割画像に対して１つずつ順に画像処理を行うことによって複数の処理画像を生成する。さらに、生成した複数の処理画像をオーバーラップ領域を除去しながらバッファの画像出力用領域に順次格納していくことによって結合し、これにより出力画像を生成するようにしている。

上記のように構成した本発明によれば、入力画像が複数個の分割画像に分割されて個々の分割画像が１つずつ順番に処理されていく。そのため、バッファの画像編集用領域は分割画像１つ分のサイズがあれば良く、編集用のバッファサイズが従来よりも小さくて済む。また、入力画像から分割画像を切り出す際に、単純に分割すると分割画像の端部になる領域に対して、それに隣接するオーバーラップ領域が付加される。そのため、当該端部になる領域の画素を中心とするブロック状の領域内の画素値を用いて画像編集のための演算を行うときに、オーバーラップ領域の画素値も含めて複数の画素値から正しい演算値を求めることが可能となる。以上により、ＲＡＭ容量が制限される組込み系システムにおいても、サイズの大きな入力画像を画像処理によって編集することができ、かつ、編集した出力画像中に繋ぎ目のような線が現われないようにすることができる。

本実施形態による画像処理装置を適用した電子機器の機能構成例を示すブロックである。 本実施形態の画像処理装置によって行われる画像処理例の概要を示す図である。 分割画像の端部付近において行われる画像編集処理の様子を示す図である。 本実施形態による画像処理装置の動作例を示すフローチャートである。 本実施形態による画像処理装置の動作シーケンスを示す図である。 本実施形態による画像処理装置を適用した電子機器の他の機能構成例を示すブロックである。 従来の問題点を説明するための図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による画像処理装置を適用した電子機器の機能構成例を示すブロックである。図２は、本実施形態の画像処理装置によって行われる画像処理例の概要を示す図である。

図１に示すように、電子機器１００は、ＵＳＢメモリ等の外部メモリ２００を接続可能に構成されている。外部メモリ２００は画像データを記憶しており、電子機器１００は外部メモリ２００から画像データを入力することができるようになっている。

電子機器１００は、画像処理装置１０、画像出力コントローラ２０および表示装置３０を備えている。画像処理装置１０は、外部メモリ２００から入力した画像データに対して、拡大、縮小、減色等の画像処理を行うことにより画像を編集する。画像出力コントローラ２０は、画像処理装置１０により編集された画像を表示装置３０に表示するための制御を行う。

すなわち、外部メモリ２００から入力される画像のサイズや階調数と、表示装置３０に表示すべき画像のサイズや階調数とが異なっていて、入力画像をそのまま表示装置３０に表示することができないために、本実施形態では画像処理装置１０で入力画像を編集して表示装置３０に表示できるような出力画像を生成するようにしている。図２の例では、入力画像を縮小して出力画像を生成している。

画像処理装置１０は、画像分割部１１、画像編集用バッファ１２、画像編集部１３、画像結合部１４および画像出力用バッファ１５を備えている。画像分割部１１は、外部メモリ２００より入力される画像から複数の分割画像を順次切り出す。このように入力画像から複数の分割画像を切り出す際に、画像分割部１１は、互いに隣接する分割画像に対してオーバーラップ領域を設ける。

例えば、図２に示すように、画像分割部１１は、入力画像を水平方向に４分割する。このとき画像分割部１１は、各分割画像の上下（一番上の分割画像は下側のみ、一番下の分割画像は上側のみ）に１ライン分のオーバーラップ領域を設ける。

すなわち、一番上の分割画像には、その下側に、上から２番目の分割画像の１ライン目と同じものがオーバーラップ領域として付与される。上から２番目の分割画像には、その上側に、一番上の分割画像の最終ラインと同じものがオーバーラップ領域として付与される。また、上から２番目の分割画像の下側には、上から３番目の分割画像の１ライン目と同じものがオーバーラップ領域として付与される。

上から３番目の分割画像には、その上側に、２番目の分割画像の最終ラインと同じものがオーバーラップ領域として付与される。また、上から３番目の分割画像の下側には、一番下（４番目）の分割画像の１ライン目と同じものがオーバーラップ領域として付与される。さらに、一番下の分割画像には、その上側に、上から３番目の分割画像の最終ラインと同じものがオーバーラップ領域として付与される。

画像編集用バッファ１２は、本発明におけるバッファの画像編集用領域に相当するものであり、画像分割部１１により切り出された複数の分割画像を１つずつ順次格納する。分割画像を１つずつ順次格納するのであるから、画像編集用バッファ１２は、分割画像１つ分を格納できるだけのサイズ（容量）があれば十分である。

なお、本実施形態の画像処理装置１０が適用される電子機器１００はナビゲーション装置や車載オーディオ装置などの組込み系システムであり、画像編集用バッファ１２および画像出力用バッファ１５として利用可能なＲＡＭ容量（バッファサイズ）に制限がある。そこで、画像分割部１１は、画像編集用バッファ１２の容量と入力画像の容量とに基づいて、１つの分割画像を画像編集用バッファ１２に格納できる範囲内で最小の分割数を決定し、当該決定した分割数の分割画像を入力画像から順次切り出すようにしている。

ここで、画像編集用バッファ１２の容量は固定で、画像処理装置１０において既知である。一方、入力画像の容量は可変で、画像分割部１１がこの容量を調べて確認する。例えば、画像分割部１１が外部メモリ２００から画像データのファイルを読み込んで分割する際に、ファイルサイズを取得するためのコマンドを実行することにより、入力画像の容量（ファイルサイズ）を取得する。

例えば、画像編集用バッファ１２の容量が１２０キロバイトであるとする。一方、入力画像の容量（ファイルサイズ）が４２０キロバイトであるとする。この場合、入力画像の分割数が４以上であれば、１つの分割画像の容量は１２０キロバイト以下となる。よって、画像分割部１１は、この場合の最小の分割数として入力画像を４分割することを決定する。また、入力画像の容量が２００キロバイトの場合、画像分割部１１は最小の分割数として入力画像を２分割することを決定する。

なお、本実施形態では分割画像にオーバーラップ領域を付加するので、所定のマージンをとって、オーバーラップ領域付きの分割画像を画像編集用バッファ１２に格納できる範囲内で最小の分割数を決定する。例えば、入力画像の全ライン数と全容量とから１ライン分または２ライン分の容量を計算し、それを所定のマージンとする。画像分割部１１は、分割画像の容量に対してオーバーラップ領域分のマージン容量を付加した容量が画像編集用バッファ１２の容量以下となるように、入力画像の分割数を決定する。

画像編集部１３は、画像分割部１１により切り出された複数の分割画像に対して順次、画像編集処理を行うことによって複数の処理画像を生成する。具体的には、画像編集用バッファ１２に格納されたオーバーラップ領域付きの分割画像に対して画像編集処理を行う。本実施形態では、入力画像から切り出された分割画像に対して正方形の複数個の小ブロックを設定し、ブロック毎に複数の画素値を演算して１つの代表値に置き換える処理を行う。例えば画像編集処理として入力画像の縮小を行う場合、縦３×横３の９画素から成る正方形の領域毎に、中央の画素およびそれに隣接する上下左右４画素の画素値の平均をとり、９画素の画素値を１つの平均値に置き換えることによって画像縮小を行う。

図３は、分割画像の端部付近において画像編集部１３によって行われる画像編集処理の様子を示す図である。図３（ａ）は参考図であり、オーバーラップ領域を設けずに分割画像を生成した場合の処理を示している。一方、図３（ｂ）は、本実施形態のようにオーバーラップ領域を設けて分割画像を生成した場合の処理を示している。ここでは、縦３×横３の９画素から成る正方形の小ブロック毎に、中央の画素およびそれに隣接する上下左右の画素値の平均をとる例を示している。

図３（ａ）のように、オーバーラップ領域を設けない場合、分割領域の端部に該当するライン上の画素を中心として周囲９画素の小ブロックを設定することができない（端部より下側の３画素が存在しない）。そのため、上および左右の３画素しか参照できなくなってしまい、本来の正しい平均値を計算できなくなってしまう。一方、図３（ｂ）のようにオーバーラップ領域を設けた場合、分割領域の端部に該当するライン上の画素を中心として周囲９画素の小ブロックを設定することが可能となる。そのため、上下左右の４画素を参照して本来の正しい平均値を計算することができる。

画像結合部１４は、画像編集部１３により順次生成された複数の処理画像を結合することによって出力画像を生成する。複数の処理画像を結合する際に、画像結合部１４は、図２に示すように処理画像からオーバーラップ領域を除去する。画像出力用バッファ１５は、本発明におけるバッファの画像出力用領域に相当するものであり、画像結合部１４により生成された出力画像を格納する。画像編集用バッファ１２のサイズ（容量）は、出力画像１つ分を格納できるだけのサイズがあれば十分である。

次に、上記のように構成した画像処理装置１０の動作を説明する。図４は、画像処理装置１０の動作例を示すフローチャートである。図５は、画像処理装置１０の動作シーケンスを示す図である。まず、画像分割部１１は、ファイルサイズを取得するためのコマンドを実行して、外部メモリ２００から入力する画像データの容量を調べる。そして、その調べた入力画像データの容量と、画像編集用バッファ１２の容量とに基づいて、入力画像の分割数を決定する（図４のステップＳ１）。

分割数を決定したら、画像分割部１１は、外部メモリ２００に記憶されている入力画像から、オーバーラップ領域が設けられた１つ目の分割画像を切り出し、切り出した分割画像を画像編集用バッファ１２に格納する（図４のステップＳ２および図５（ａ））。そして、画像編集部１３は、画像編集用バッファ１２に格納された１つ目の分割画像に対して画像編集処理を行うことによって１つ目の処理画像を生成する（図４のステップＳ３および図５（ｂ））。

さらに、画像結合部１４は、ステップＳ３で生成された１つ目の処理画像を、オーバーラップ領域を除去して画像出力用バッファ１５に格納する（図４のステップＳ４および図５（ｃ））。その後、画像分割部１１は、ステップＳ１で決定した分割数だけ分割画像の切り出しが全て終わったかどうかを判定する（図４のステップＳ５）。ここで、分割画像の切り出しが全て終わっていないと判断した場合、処理は図４のステップＳ２に戻る。

続いて、画像分割部１１は、外部メモリ２００に記憶されている入力画像から、オーバーラップ領域が設けられた２つ目の分割画像を切り出し、切り出した２つ目の分割画像を画像編集用バッファ１２に格納する（図４のステップＳ２および図５（ｄ））。そして、画像編集部１３は、画像編集用バッファ１２に格納された２つ目の分割画像に対して画像編集処理を行うことによって２つ目の処理画像を生成する（図４のステップＳ３および図５（ｅ））。

さらに、画像結合部１４は、ステップＳ３で生成された２つ目の処理画像を、オーバーラップ領域を除去して画像出力用バッファ１５に格納する（図４のステップＳ４および図５（ｆ））。その後、画像分割部１１は、ステップＳ１で決定した分割数だけ分割画像の切り出しが全て終わったかどうかを判定する（図４ステップＳ５）。ここで、分割画像の切り出しが全て終わっていないと判断した場合、処理は図４のステップＳ２に戻る。

以下同様にステップＳ２〜Ｓ５の処理を繰り返し行い、生成された処理画像を画像出力用バッファ１５に順次格納していくことによって複数の処理画像を結合し、複数の処理画像が結合された出力画像を生成する（図５（ｇ））。

以上詳しく説明したように、本実施形態では、互いに隣接する分割画像どうしにオーバーラップ領域が含まれるようにして入力画像から複数の分割画像を順次切り出し、切り出した複数の分割画像を１つずつ順次、画像編集用バッファ１２に格納していく。そして、画像編集用バッファ１２に格納された分割画像に対して１つずつ順に画像編集処理を行うことによって複数の処理画像を生成する。さらに、生成した複数の処理画像をオーバーラップ領域を除去しながら画像出力用バッファ１５に順次格納していくことによって結合し、これにより出力画像を生成するようにしている。

このように構成した本実施形態によれば、画像編集用バッファ１２は分割画像１つ分のサイズがあれば良く、編集用のバッファサイズを従来よりも小さくすることができる。よって、画像出力用バッファ１５のサイズを合わせたトータルのバッファサイズを従来に比べて小さくすることができる。また、本実施形態によれば、分割画像の端部付近において、ブロック状の領域内の画素値を用いて画像編集のための演算を行うときに、オーバーラップ領域の画素値も含めて複数の画素値から正しい演算値を求めることが可能となる。以上により、ＲＡＭ容量が制限される組込み系システムにおいても、サイズの大きな入力画像を画像処理によって編集することができ、かつ、編集した出力画像中に繋ぎ目のような線が現われないようにすることができる。

また、本実施形態では、画像編集用バッファ１２の容量と入力画像の容量とに基づいて、１つの分割画像を画像編集用バッファ１２に格納できる範囲内で最小の分割数を決定するようにしている。本実施形態では複数の分割画像を順に処理しているため、特許文献２の並列処理に比べると処理時間が長くなるが、できるだけ分割数が最小となるようにしているので、トータルの処理時間を極力短くすることができる。

なお、上記実施形態では、画像編集部１３による画像編集処理の一例として画像の縮小を挙げて説明したが、本発明はこれに限定されない。例えば、画像の拡大、減色（階調数の削減）などであってもよい。

また、上記実施形態では、表示装置３０に表示すべき出力画像のサイズ（容量）が固定である場合を例にとって説明したが、可変であってもよい。例えば、電子機器１００に実装されているアプリケーションが複数ある場合に、アプリケーション毎に異なるサイズの出力画像を生成する場合が考えられる。また、アプリケーションは１つであるが、そのアプリケーションの機能として表示サイズを可変設定できる場合も考えられる。

このように出力画像のサイズを可変とする場合、図６のように画像処理装置１０’を構成してもよい。なお、この図６において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図６において、バッファ１６は、図１に示した画像編集用バッファ１２と画像出力用バッファ１５とを合わせたものであり、１つのバッファ１６内に画像編集用領域１６Ａと画像出力用領域１６Ｂとが割り当てられている。バッファ１６の全容量は固定であるが、画像編集用領域１６Ａの容量および画像出力用領域１６Ｂの容量はそれぞれ可変である。

領域割り当て部１７は、例えば電子機器１００のアプリケーションによって設定された出力画像の容量分をバッファ１６の画像出力用領域１６Ｂに割り当てるとともに、バッファ１６において画像出力用領域１６Ｂが割り当てられていない残りの領域を画像編集用領域１６Ａに割り当てるように制御する。そして、領域割り当て部１７は、画像編集用領域１６Ａとして割り当てた容量を画像分割部１１に通知する。

この場合、画像分割部１１は、領域割り当て部１７からの通知を受けて、画像編集用領域１６Ａの容量と入力画像の容量とに基づいて、１つの分割画像を画像編集用領域１６Ａに格納できる範囲内で最小の分割数を決定し、入力画像から分割数の分割画像を順次切り出す。

このようにすれば、出力画像に必要な容量分だけを画像出力用領域１６Ｂに割り当てて、できるだけ多くの容量を画像編集用領域１６Ａに割り当てることができる。これにより、出力画像のサイズに応じて入力画像の分割数をできるだけ少なくすることができ、画像処理装置１０’によるトータルの処理時間を極力短くすることができる。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０ 画像処理装置
１１ 画像分割部
１２ 画像編集用バッファ
１３ 画像編集部
１４ 画像結合部
１５ 画像出力用バッファ
１６ バッファ
１６Ａ 画像編集用領域
１６Ｂ 画像出力用領域
１７ 領域割り当て部

Claims (5)

1. 入力画像から複数の分割画像を順次切り出す画像分割部と、
   上記画像分割部により切り出された複数の分割画像に対して順次、画像編集処理を行うことによって複数の処理画像を生成する画像編集部と、
   上記画像編集部により順次生成された複数の処理画像を結合することによって出力画像を生成する画像結合部と、
   上記画像分割部により切り出された複数の分割画像を１つずつ順次格納する画像編集用領域および上記画像結合部により生成された出力画像を格納する画像出力用領域を有するバッファとを備え、
   上記画像分割部は、上記複数の分割画像を切り出す際に、互いに隣接する分割画像に対してオーバーラップ領域を設け、
   上記画像結合部は、上記複数の処理画像を結合する際に、上記処理画像から上記オーバーラップ領域を除去することを特徴とする画像処理装置。
2. 上記画像分割部は、上記バッファに割り当てられている上記画像編集用領域の容量と上記入力画像の容量とに基づいて、１つの分割画像を上記画像編集用領域に格納できる範囲内で最小の分割数を決定し、上記入力画像から上記分割数の分割画像を順次切り出すことを特徴とする請求項１に記載の画像処理装置。
3. 上記出力画像の容量分を上記バッファの上記画像出力用領域に割り当てるとともに、上記バッファにおいて上記画像出力用領域が割り当てられていない残りの領域を上記画像編集用領域に割り当てるように制御する領域割り当て部を更に備え、
   上記画像分割部は、上記領域割り当て部により割り当てられた上記画像編集用領域の容量と上記入力画像の容量とに基づいて、１つの分割画像を上記画像編集用領域に格納できる範囲内で最小の分割数を決定し、上記入力画像から上記分割数の分割画像を順次切り出すことを特徴とする請求項１に記載の画像処理装置。
4. 入力画像を細分化した分割画像であって互いに隣接する分割画像に対してオーバーラップ領域が設けられた複数の分割画像を切り出し、切り出した複数の分割画像をバッファの画像編集用領域に順次格納する画像切り出しステップと、
   上記画像編集用領域に格納された分割画像に対して画像編集処理を順次行うことによって複数の処理画像を生成する画像編集ステップと、
   上記画像編集処理により生成された複数の処理画像を、上記オーバーラップ領域を除去して上記バッファの画像出力用領域に格納することによって結合し、上記複数の処理画像が結合された出力画像を生成する画像結合ステップとを有する画像処理方法。
5. 上記画像分割ステップでは、上記バッファに割り当てられている上記画像編集用領域の容量と上記入力画像の容量とに基づいて、１つの分割画像を上記画像編集用領域に格納できる範囲内で最小の分割数を決定し、上記入力画像から上記分割数の分割画像を順次切り出すことを特徴とする請求項４に記載の画像処理方法。