JP2015141529A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 冗長なメモリ領域を必要とせずにメモリのデータラインの遷移を抑えて効果的にＥＭＩノイズを抑制するための技術を提供すること。
【解決手段】 画像のデータを構成する各要素を、指定された動作モードによって規定される並び替え順に従って並び替えてから、規定の転送単位でメモリに転送する。メモリに転送されたデータを構成する各要素を、上記並び替え順に従って並び替える前の並び順に並び替えてから処理する。
【選択図】 図１

Description

本発明は、画像処理技術に関するもので、特に、画像のデータの転送技術に関するものである。

近年、ディスプレイやプロジェクタ製品では高解像度化、高画質化が進み、複雑な画像処理を高速に行うことが画像処理エンジンに要求されている。これらの要求は主に、半導体プロセスの向上に伴う、高集積化、動作周波数の向上により実現されている。しかし、動作周波数の向上に伴うＬＳＩの電磁放射の増大は、ＥＭＩ（Ｅｌｅｃｔｒｏ Ｍａｇｎｅｔｉｃ Ｉｎｔｅｒｆｅｒｅｎｃｅ）の対策を困難にしている。ＥＭＩは他の機器の動作を阻害し、人体に影響を与えることから、基準値以内に抑制することは大変重要である。

ＥＭＩ対策の一つとしてスペクトラム拡散クロックジェネレータ、いわゆるＳＳＣＧ（Ｓｐｒｅａｄ Ｓｐｅｃｔｒｕｍ Ｃｌｏｃｋ Ｇｅｎｅｒａｔｏｒ）が使用されている。ＳＳＣＧはＬＳＩのクロック周波数を変化させて発振させる（周波数変調）ことによって、ＥＭＩのピークを低く抑える働きをする。その他にもＬＳＩ外部に出力する信号ピン数の削減や、出力信号の遷移時のスルーレートを低く抑えることによりＥＭＩの低減を図っている。

上記のようにＥＭＩを低減させる為には、複数の対策を組み合わせることが重要である。その中で、ＥＭＩをより効果的に低減させる為の技術として、特許文献１として挙げた「メモリ制御回路及びメモリ制御方法」が提案されている。

特開２００８−５９４４９号公報

特許文献１においては、複数のバーストから成るデータをメモリに書き込む際、バーストの順番を並び替えた複数個のデータを生成する。生成した複数個のデータの中から最もデータ切替えが少ないデータを選択し、選択したデータのバーストの並び順を冗長ビットとして上記データと共にメモリに格納する。上記のようにメモリに接続されているデータラインの切替え回数を減らすことによりＥＭＩの削減を図っている。しかしながら、特許文献１に記載されている手法では、バーストの並び順を表す冗長ビットを格納するためのメモリ領域が必要な点が課題である。

本発明はこのような問題に鑑みてなされたものであり、冗長なメモリ領域を必要とせずにメモリのデータラインの遷移を抑えて効果的にＥＭＩノイズを抑制するための技術を提供する。

本発明の一様態は、画像のデータを構成する各要素を、指定された動作モードによって規定される並び替え順に従って並び替えてから、規定の転送単位でメモリに転送する転送手段と、前記メモリに転送されたデータを構成する各要素を、前記並び替え順に従って並び替える前の並び順に並び替えてから処理する手段とを備えることを特徴とする。

本発明の構成により、冗長なメモリ領域を必要とせずにメモリのデータラインの遷移を抑えて効果的にＥＭＩノイズを抑制することができる。

画像処理装置１０００の構成例を示すブロック図。 並び替え部１０２２の構成例を示すブロック図。 画像処理装置３０００の構成例を示すブロック図。 ７画素分のデータの構成例を示す図。 並び替えテーブル０の構成例を示す図。 並び替えテーブル１の構成例を示す図。 各ビット遷移回数の比較を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係る画像処理装置１０００の構成例について、図１のブロック図を用いて説明する。画像処理装置１０００には、画像出力機器１３００から１枚の画像が供給される。画像出力機器１３００は、画像を提供可能な機器であれば如何なる装置であっても良く、例えば、画像を保持するメモリ装置であっても良いし、静止画像若しくは動画像を撮像可能な撮像装置であっても良い。然るに、画像出力機器１３００から画像処理装置１０００に入力される１枚の画像は、１枚の静止画像であっても良いし、動画像を構成するそれぞれのフレームの画像であっても良い。画像処理装置１０００は、画像出力機器１３００から供給された画像に対して画像処理を行ってからメモリ１２００に格納し、メモリ１２００に格納した画像処理済みの画像を読み出して画像処理を行ってから画像表示パネル１４００に出力する。然るに図１では、２つの画像処理部（画像処理部１０１０及び画像処理部１０４０）を有する画像処理装置１０００の構成例を示しているが、画像処理部の数は２に限るものではなく、３以上であっても良い。又、ＵＩ（ユーザインターフェース）等を映像に重ねるシステムにおいても同様である。

次に、画像処理装置１０００を構成する各機能部についてより詳細に説明する。バーストモード判定部１０７０には、表示モード信号、ビット精度信号、データアライン信号が入力される。

表示モード信号は、本装置による表示モードを表す信号であり、本実施形態では、表示モード信号は、動画モード及びミュートモードのうち設定された一方のモードを表す信号であるものとする。動画モードとは、画像出力機器１３００から供給された画像に対して画像処理を行ってからメモリ１２００に格納し、該格納した画像処理済みの画像を読み出して画像処理を行ってから画像表示パネル１４００に出力する通常動作モードを表している。一方、ミュートモードとは、入力信号の切替え等により乱れた画像が出力されるのを防止する目的や入力信号が喪失した場合に本装置の異常ではないことを示す目的で、画像表示パネル１４００の画面全体に単一色の画像を表示させるモードである。表示モード信号をバーストモード判定部１０７０に入力するための信号線の数は１に限るものではないが、本実施形態では１とする。

ビット精度信号は、本装置に入力された画像をメモリ１２００に格納する際の画像のビット数（ビット幅）を表している。例えば、ビット精度信号が「１２」を表している場合、本装置に入力されたＲＧＢカラー画像を１２ビットＲＧＢカラー画像としてメモリ１２００に格納することになる。

データアライン信号は、「メモリ１２００にデータを格納する際のアクセス単位（格納単位）であるバーストデータ」へのデータ配置方式（以後、データアラインと称す）を示す信号である。データアラインには、１バーストデータのビット数にアラインする方式（以後、バーストアライン方式と称す）と、バースト長で定義されたバーストデータ数分のビット数にアラインする方式（以後、トータルアライン方式と称す）と、がある。

バーストアライン方式では、１バーストデータにピクセル単位で画像のデータを配置し、バーストデータのビット数に足りないビットは、パディングデータと呼ばれる任意のデータを詰める。

トータルアライン方式では、バーストデータに隙間なくピクセルデータを敷き詰め、最終的にバースト長で定義されたバーストデータ数分のビット数に足りないビットはパディングデータを詰める。

特徴としては、前者の方式はバーストデータ上でのピクセルデータ位置がいつも固定であり、後者の方式はバーストデータ上のピクセルデータ位置が固定でないことが挙げられる。

なお、表示モード信号、ビット精度信号、データライン信号は、内部レジスタ等よる内部信号により設定する場合、外部信号として受信する場合等が考えられるが、本実施形態では、内部レジスタにより設定するものとする。また、本実施形態では、動画モード及びミュートモードの何れかを表示モードとしているが、これらのモードに限るものではない。

表示モード選択部１０７１は、表示モード信号を受けると、該表示モード信号をそのまま選択表示モード信号として後段のバーストモード算出部１０７２に対して送出する。なお、表示モード選択部１０７１に複数の表示モードの信号が入力された場合には、何れか１つを選択し、該選択した信号を選択表示モード信号として出力するようにしても構わない。この選択はユーザ指示に応じたものであっても良いし、状況に応じて表示モード選択部１０７１が行っても良い。

バーストモード算出部１０７２は、選択表示モード信号、ビット精度受信、データアライン信号からバーストモードを決定し、該決定したバーストモードを示す信号であるバーストモード信号を、並び替え部１０２２及び復元部１０５１に対して出力する。バーストモードとは、選択表示モード信号、ビット精度受信、データアライン信号のそれぞれが示す条件から成る条件群を示すものであり、並び替え部１０２２及び復元部１０５１が並び替えを行う際に参照するテーブルを決定するために用いられるものである。

画像処理部１０１０は、画像出力機器１３００から供給された画像（入力画像信号）に対して画像処理を施し、画像処理済みの画像を、ライトデータ生成部１０２０に対して送出する。

ライトデータ生成部１０２０の不図示の制御部は、バーストモード判定部１０７０から送出された表示モード信号が「動画モード」を示している場合には、画像処理装置１０００から受けた画像をライトデータバッファ１０２１に格納する。一方、ライトデータ生成部１０２０の不図示の制御部は、バーストモード判定部１０７０から送出された表示モード信号が「ミュートモード」を示している場合には、画像処理装置１０００から受けた画像を単一色の画像（例えば青一色の画像）に変換する。そしてライトデータ生成部１０２０の不図示の制御部は、この変換した単一色の画像をライトデータバッファ１０２１に格納する。

並び替え部１０２２は、バーストモード算出部１０７２から送出されたバーストモード信号に対応するテーブルを用いて、ライトデータバッファ１０２１に格納されている画像のデータを構成する各要素の並び替えを行う。そして並び替え部１０２２は、この各要素が並び替えられた画像のデータをライトデータとしてバーストデータ生成部１０３０に対して送出する。並び替え部１０２２の詳細については後述する。

バーストデータ生成部１０３０は、並び替え部１０２２から受けたライトデータをバーストデータ単位で管理し、規定のバースト長に相当する数のバーストデータごとに、メモリコントローラ１０８０に転送する。

メモリコントローラ１０８０は、バーストデータ生成部１０３０から転送されたデータをメモリ１２００に格納すると共に、リードデータ受信部１０６０から要求されたバーストデータをメモリ１２００から読み出して該リードデータ受信部１０６０に送出する。

リードデータ受信部１０６０は、メモリコントローラ１０８０から送出されたバーストデータをリードバーストデータとして、画像データ復元部１０５０内のリードデータバッファ１０５２に格納する。

復元部１０５１は、バーストモード算出部１０７２から送出されたバーストモード信号に対応するテーブルを用いて、リードデータバッファ１０５２に格納されているデータに対して、並び替え部１０２２が行った並び替えとは逆の並び替えを行う。これにより復元部１０５１は、並び替え部１０２２による並び替え前の順序で要素が並んでいる画像のデータを復元する。

画像処理部１０４０は、復元部１０５１により復元された画像に対して画像処理を施し、画像処理済みの画像を出力画像信号として、画像表示パネル１４００に対して出力する。

次に、並び替え部１０２２についてより詳細に説明する。先ず、並び替え部１０２２の構成例について、図２のブロック図を用いて説明する。以下では並び替え部１０２２について具体的な説明を行うために、バースト長を８、バーストデータ幅を３２ビット、画像データフォーマットをＲＧＢ、ビット精度信号を１２ビットとし、データアライン信号はトータルアライン方式を示すものとする。なお、バースト長８の総ビット数２５６ビットに格納できる最大ピクセル数は７個である（２５２ビット）。よってこの場合、４ビットのパディングビットを詰める。

この場合、図２に示す如く、画像処理部１０１０から並び替え部１０２２には、７個の画素（画素１〜７）のそれぞれのＲ成分の画素値、Ｇ成分の画素値、Ｂ成分の画素値が入力されて、ライトデータバッファ１０２１に格納されることになる。例えば、Ｒ−１，Ｇ−１，Ｂ−１はそれぞれ、画素１のＲ成分の画素値、Ｇ成分の画素値、Ｂ成分の画素値であり、Ｒ−７，Ｇ−７，Ｂ−７はそれぞれ、画素７のＲ成分の画素値、Ｇ成分の画素値、Ｂ成分の画素値である。

並び替え部１０２２には、様々なバーストモード信号に対応するテーブル（並び替えテーブル）が登録されており、図２では、（ｎ＋１）個の並び替えテーブル（並び替えテーブル０〜ｎ）が登録されている。

１つの並び替えテーブルには、設定されたバースト長を持つバーストデータに格納されるビット数分の長さを持つ並び替えパターンが格納されている。並び替えテーブルには、バーストデータ生成部１０３０で生成されるライトデータを構成するバーストデータ中の各ビットと、ライトデータバッファ１０２１に格納されている画像中の各ビットとの対応関係が記述されている。すなわち、並び替えテーブルには、該並び替えテーブルに従って並び替えた後のビットが、該並び替えの前のビット群の何れに対応するのかを特定可能なように、その対応関係が登録されている。

本実施形態では、バーストモード信号は、１２ビットトータルアライン動画モード、１２ビットトータルアラインミュートモード、の何れかを示すことになる。然るにこの場合、並び替え部１０２２には、１２ビットトータルアライン動画モードに対応する並び替えテーブル、１２ビットトータルアラインミュートモードに対応する並び替えテーブル、が登録されていることになる。また、並び替えテーブルは、上記のパディングビットの情報も含んでいる。

選択器１２０は、バーストモード算出部１０７２からのバーストモード信号を受けると、該バーストモード信号に対応する並び替えテーブルを選択してデータ並び替え部１１０に対して送出する。

データ並び替え部１１０は、ライトデータバッファ１０２１に格納されている７画素のデータを、選択器１２０で選択された並び替えテーブルに従って並び替えて、ライトデータとしてバーストデータ生成部１０３０に出力する。

ライトデータバッファ１０２１に格納された７画素分のデータの構成例を図４に示す。Ｒｍ−ｎは、画素ｍのＲ成分のｎビット目の画素値、Ｇｍ−ｎは、画素ｍのＧ成分のｎビット目の画素値、Ｂｍ−ｎは、画素ｍのＢ成分のｎビット目の画素値、を表している。なお、ｎ＝１１の場合、ＭＳＢを表していることになる。

図４の２行目（ピクセル１）は画素１のデータを表しており、Ｒ，Ｇ，Ｂそれぞれが１２ビットのビット群（Ｒ１−１１〜Ｒ１−０、Ｇ１−１１〜Ｇ１−０、Ｂ１−１１〜Ｂ１−０、）で表されている。同様に、３〜８行目（ピクセル２〜７）はそれぞれ、画素２〜７のデータを表しており、Ｒ，Ｇ，Ｂそれぞれが１２ビットのビット群で表されている。

１２ビットトータルアライン動画モードに対応する並び替えテーブル（並び替えテーブル０）の構成例を図５に示す。並び替えテーブル０では、特にビットの並び替えは行わずに、３６ビット幅のピクセルデータを３２ビット幅のバーストデータに１２ビットトータルアラインでビット配置しているのみである。尚、このビット配置は従来から使用されている手法でもある。

各行はバーストデータに対応し、各列はバーストデータの各ビットに対応している。３０１は画素１のＲ成分、３０２は画素１のＧ成分、３０３−１、３０３−２は画素１のＢ成分を示している。１ピクセル当たりのビット幅が３６ビットであるのに対してバーストデータのビット幅が３２であるため、１ピクセルのデータは２つのバーストデータに分割されて格納される。尚、３０４はパディングビットを表しており、画素１のＲ成分のＭＳＢが格納されている。

１２ビットトータルアラインミュートモードに対応する並び替えテーブル（並び替えテーブル１）の構成例を図６に示す。本実施形態では、バーストモード判定部１０７０から送出された表示モード信号が「ミュートモード」を示している場合、画像処理装置１０００から受けた画像をＲ及びＧ成分の画素値＝０、Ｂ成分の画素値＝“ＦＦＦ”である画像（青一色の画像）に変換する。然るに図６のテーブルもこのようなミュートモードに対応したものとなっている。

並び替えテーブル１では、バーストデータ０〜６においてはＢ成分の１１ビット目を各バーストデータの最上位に配置し、以降、１０ビット目、９ビット目、…、１ビット目をこの順で配置している（３１１）。そして続いてＲ成分の上位１１ビット、Ｇ成分の上位１０ビットを配置している（それぞれ３１２、３１３）。バーストデータ７では、ＲＧＢのそれぞれで残ったビットを配置している。又、パディングビットを３１４で示すビットに配置し、かつ画素１のＢ成分のＭＳＢを詰めている。並び替えテーブル１を用いて並び替えられたライトデータからバーストデータ生成部１０３０が生成するバーストデータ（ライトバーストデータ）は、メモリ１２００への同一バースト書き込み内でデータ遷移は発生しない。

並び替えテーブル０、並び替えテーブル１を用いてミュート表示の画像から生成されたライトバーストデータの各ビット遷移回数の比較を図７に示す。従来例におけるビット遷移回数は並び替えテーブル０の行にて示し、本実施形態による効果は並び替えテーブル１の行にて示す。尚、特許文献１に記載されている実施例１による結果も合わせて示す。尚、特許文献１の遷移回数に関しては実施例1適用時における最小値（理想値）である。図７で示されているように、本実施形態を適用することにより、データのビット遷移回数を抑制できることがわかる。

このように本実施形態によれば、冗長ビットを用いなくともメモリライト、リード時に発生するデータのビット遷移回数を低減することが可能となり、ＥＭＩノイズやＳＳＯノイズを効果的に低減させ、メモリアクセスに伴う消費電力を削減することができる。なお、本実施形態ではバーストモード判定部は１つであるが複数個搭載されても良い。

また、以上説明した構成はあくまでも一例に過ぎず、具体例を挙げて説明した例示的な構成の一例に過ぎない。すなわち、本実施形態に係る画像処理装置は、次のような基本構成を有する画像処理装置の一例を説明したに過ぎない。

基本構成では、画像のデータを構成する各要素を、指定された動作モードによって規定される並び替え順に従って並び替えてから、規定の転送単位でメモリに転送する。そして、メモリに転送されたデータを構成する各要素を、この並び替え順に従って並び替える前の並び順に並び替えてから処理する。

［第２の実施形態］
本実施形態に係る画像処理装置３０００の構成例について、図３のブロック図を用いて説明する。図３において、図１に示した機能部と同じ機能部には同じ参照番号を付しており、これらの機能部に係る説明は省略する。また、以下では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。

本実施形態では、第１の実施形態と同様に、バースト長を８、バーストデータ幅を３２ビット、画像データフォーマットをＲＧＢ、ビット精度信号を１２ビットとし、データアライン信号はトータルアライン方式を示すものとする。なお、バースト長８の総ビット数２５６ビットに格納できる最大ピクセル数は７個である（２５２ビット）。よってこの場合、４ビットのパディングビットを詰める。

画像解析部３０９０は、画像処理部１０１０が処理した画像を解析して表示モードを決定する。例えば、画像のＲＧＢ各成分のヒストグラムデータを抽出する。そして、ヒストグラムデータに含まれるＲＧＢ成分が各々の最頻値を中心として予め定めた範囲内に収まっていること、Ｂ成分の最頻値とＲ、Ｇ成分の最頻値の差分が予め定めた値より大きいこと、の両条件が満たされているか否かを判断する。この判断の結果、両条件が満たされていれば、ミュートモードを表示モードとして決定し、満たされていなければ、動画モードを表示モードとして決定する。そして画像解析部３０９０は、決定した表示モードを示す信号を、表示モード信号（表示モード２信号）として表示モード選択部１０７１に送出する。

表示モード選択部３０７１は、表示モード選択部１０７１と同様に、表示モード信号（ここでは表示モード１信号）、ビット精度信号、データアライン信号を受信すると共に、画像解析部３０９０から表示モード２信号を受信する。そして表示モード選択部３０７１は、表示モード１信号、表示モード２信号のどちらかがミュートモードを示していれば、ミュートモードが指定されたと判断し、何れもミュートモードを示していなければ動画モードが指定されたと判断する。そして以降は第１の実施形態と同様にしてバーストモードを決定し、決定したバーストモードを示す信号をバーストモード信号として出力する。

このように、本実施形態においても、第１の実施形態と同様に、データのビット遷移回数を抑制できることがわかる。なお、画像解析部３０９０における画像解析方法は上記の方法に限るものではないし、複数の画像解析部を設けて画像解析を行って表示モード信号を決定するようにしても構わない。

このように本実施形態によれば、冗長ビットを用いなくともメモリライト、リード時に発生するデータのビット遷移回数を低減することが可能となり、ＥＭＩノイズやＳＳＯノイズを効果的に低減させ、メモリアクセスに伴う消費電力を削減することができる。

更に、本実施形態では内部レジスタによる設定だけではなく、画像に応じて表示モードの判定が行われるため、外部再生機器からミュート信号が入力された時でもＥＭＩノイズ、ＳＳＯノイズの低減が実現できる。又、データの並び替えをメモリコントローラ内で実施することも考えられる。

また、図１，３に示した各機能部はハードウェア、ソフトウェアの何れで構成しても構わないし、ハードウェア及びソフトウェアを組み合わせて構成しても構わない。ソフトウェアとして実現した機能部については、不図示のプロセッサが実行することで、対応する機能を実現することができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (5)

1. 画像のデータを構成する各要素を、指定された動作モードによって規定される並び替え順に従って並び替えてから、規定の転送単位でメモリに転送する転送手段と、
   前記メモリに転送されたデータを構成する各要素を、前記並び替え順に従って並び替える前の並び順に並び替えてから処理する手段と
   を備えることを特徴とする画像処理装置。
2. 更に、
   前記画像に対する処理、前記メモリに書き込む際のデータ幅、前記転送単位への前記要素の配置方法、から前記動作モードを決定する手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 更に、
   前記画像を解析して前記動作モードを決定する手段を備えることを特徴とする請求項１に記載の画像処理装置。
4. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の転送手段が、画像のデータを構成する各要素を、指定された動作モードによって規定される並び替え順に従って並び替えてから、規定の転送単位でメモリに転送する転送工程と、
   前記画像処理装置の処理手段が、前記メモリに転送されたデータを構成する各要素を、前記並び替え順に従って並び替える前の並び順に並び替えてから処理する工程と
   を備えることを特徴とする画像処理方法。
5. コンピュータを、請求項１乃至３の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images