JP2010154001A - 画像圧縮処理装置、および画像圧縮方法 - Google Patents

Abstract

【課題】従来の補間方法を用いてＬＯＴ圧縮を行うと、ＬＯＴ圧縮後の画像の有効画素が減るとともに、無駄な画素データが多く含まれる結果となり、表示される画像の画質が低下する。
【解決手段】補間部１３では、入力された入力画像のサイズを確認し、縦・横の有効画素数が半ブロック単位（または、ブロック単位）の整数倍になっていない場合は、第１補間部１３Ａにより、不足数に応じて入力画像の周囲に画素を補間し、第１補間領域とする。その後、第２補間部１３Ｂにより、第１補間領域の周囲に第２の補間領域を作成し、補間画像を作成して出力する。この場合に、例えば、第１補間領域においては境界値コピーによる補間を行い、第２補間領域では折り返しによる補間を行う。
【選択図】図５

Description

本発明は、ＬＯＴ(重複直交変換)を用いた画像圧縮の際の不足ラインを補間する画像圧縮処理装置、および画像圧縮方法に関する。

ブロック単位で画像を圧縮処理する際に画像データが不足する場合があるため、ブロック単位に合わせて画像データの削除や追加をする必要がある。例えば、従来技術の画像処理装置のように、画像データが不足する場合に境界の画素をコピーすることでブロック単位の整数倍にする方法が提案されていた（例えば、特許文献１を参照）。
特開平７−７４９６９号公報

しかしながら、上述した特許文献１で開示された画像処理装置においては、ＬＯＴ処理の適用という観点については記載されていない。そのため、この方法をＬＯＴ処理に適用すると入力画像に対してＬＯＴ処理後の有効画素が減ってしまうという課題がある。

例えば、図１９の従来補間の例に示すように、入力画像に対して右端および下端に補間（第１補間領域）を行った後にＬＯＴ圧縮を行うと、ＬＯＴ圧縮した後の画像の有効画素が減る（この例では周辺の４画素が減る）とともに、補間による無駄な画素データが多く含まれる結果となり、表示される画像の画質が低下する。このため、ＬＯＴを用いた画像圧縮において、ＬＯＴ処理に適した補間を適切に行うことができる方法の提供が望まれていた。

本発明はこのような問題に鑑みなされたものであり、本発明の目的は、ＬＯＴを用いた画像圧縮の際に、入力画像の有効画素を残しつつ不足ラインの補間を行うことができる、画像圧縮処理装置、および画像圧縮方法を提供することにある。

本発明は、上記課題を解決するためになされたものであり、本発明の画像圧縮処理装置は、ＬＯＴ処理単位として選択される第１の画素領域と、前記第１の画素領域と一部重複し前記ＬＯＴ処理単位として選択される第２の画素領域と、の重複量に基づいて、入力画像の周囲に付加する補間領域を決定し、当該補間領域内の画素情報を補間する補間手段と、前記補間手段により補間された前記入力画像の圧縮処理を行う圧縮処理手段と、を有することを特徴とする。

また、本発明の画像圧縮処理装置は、前記補間領域を第１補間領域とし、前記補間手段を第１補間手段としたとき、伸張後に有効画素となる画素の外側に前記重複量の１／２相当量の領域を含み、かつ、縦横が前記ＬＯＴ処理単位の縦横の整数倍となるように、前記第１補間領域の外側に付加する第２補間領域を決定し、当該第２補間領域内の画素情報を補間する第２補間手段を、さらに更に有することを特徴とする。

また、本発明の画像圧縮処理装置は、前記第２補間手段は、伸張後に有効画素となる画素が占める領域を入力画像の画素領域に一致させるよう前記第２補間領域を決定すること、を特徴とする。

また、本発明の画像圧縮処理装置は、前記第１補間手段は、前記有効画素の左右側、および上下側に前記第１補間領域を配置する場合に、前記左右側の一方の側を予め優先側として定め、当該優先側の第１補間領域の幅が所定の幅になるまでは、当該優先側にのみ前記第１補間領域を配置し、また、前記上下側の一方の側を予め優先側として定め、当該優先側の第１補間領域の幅が所定の幅になるまでは、当該優先側にのみ前記第１補間領域を配置すること、を特徴とする。

また、本発明の画像圧縮処理装置は、前記補間手段は、前記補間領域の左側、右側、上側、または下側の幅と前記入力画像の画素情報とに基づいて、入力画像と前記補間領域の境界から補間領域の最外周に向かい、隣接する画素の画素値を単調増加または単調減少させ、前記補間領域の最外周における画素値の傾きを０に収束させるように補間画素情報を生成し、当該補間画素情報により前記補間領域内の画素情報を補間すること、を特徴とする。

また、本発明の画像圧縮方法は、ＬＯＴ処理単位として選択される第１の画素領域と、前記第１の画素領域と一部重複し前記ＬＯＴ処理単位として選択される第２の画素領域と、の重複量に基づいて、入力画像の周囲に付加する補間領域を決定し、当該補間領域内の画素情報を補間する補間手順と、前記補間手順により補間された前記入力画像の圧縮処理を行う圧縮処理手順と、が画像圧縮処理装置内の制御部により行われることを特徴とする。

本発明の画像圧縮処理装置においては、ＬＯＴ処理における重複量に基づいて、入力画像の周囲に付加する補間領域を決定して補間を行う。そして、この補間された画像に対してＬＯＴ圧縮処理を行う。例えば、入力された画素データに対して、縦・横の有効画素数が半ブロック単位（または、ブロック単位）の整数倍になっていない場合、不足数に応じて入力画像の周囲に画素を補間し、第１補間領域とする。その後、第１補間領域の周囲に第２の補間領域を補間した補間画像を生成し、この補間画像をＬＯＴ圧縮する。
これにより、ＬＯＴ圧縮を行う際に、入力画像の有効画素を残しつつ不足ラインの補間を行うことができる。

以下、本発明の実施の形態を添付図面を参照して説明する。

［第１の実施の形態］
（システム構成の説明）
図１は、本発明の第１の実施の形態に係る画像圧縮処理装置の構成を示す図である。図１に示すように、画像圧縮処理装置１は、撮像された画像データを圧縮して無線により送信する圧縮送信系統部１０と、無線により受信した画像データを伸張して表示する受信伸張系統部２０の２つの系統部により構成される。

圧縮送信系統部１０は、撮像部１１、データ変換部１２、補間部１３、圧縮処理部１４、および送信部１５により構成され、受信伸張系統部２０は、受信部２１、伸張部２２、画像処理部２３、および表示部２４により構成される。また、制御部３０は、ＣＰＵ等を含み、画像圧縮処理装置１内の各部の処理動作を統括して所望の処理動作を行わせるための制御部である。

まず、圧縮送信系統部１０のデータの流れを説明する。撮像部１１は固体撮像素子であるＣＣＤ(Charge Coupled Device：電荷結合素子)１１ＡとＡＤ変換部（アナログ／デジタル変換部）１１Ｂで構成されている。この撮像部１１では、ＣＣＤ１１Ａにより取得した画像データをＡＤ変換部１１Ｂでデジタル信号に変換し出力する。

データ変換部１２部では撮像部１１から入力された被写体像のデジタル信号をＹＵＶデータに変換し出力する。なお、ＹＵＶは、輝度信号(Ｙ)と、輝度信号と青色成分の差(Ｕ)、輝度信号と赤色成分の差(Ｖ)の３つの情報で色を表す形式である。

補間部１３では、データ変換部１２から入力されたＹＵＶデータにＬＯＴ圧縮に必要な周辺画素の補間を行ないラインブロックメモリに格納する。この補間部１３の詳細については、後述する。

圧縮処理部１４はＬＯＴ部１４Ａ、量子化部１４Ｂ、符号化部１４Ｃで構成され、補間されメモリに格納したデータをＬＯＴ処理単位で入力し、ＬＯＴ処理、量子化処理、および符号化処理により圧縮処理された圧縮画像データを出力する。送信部１５は、ヘッダ付加部１５Ａ、シリアル変換部１５Ｂ、メモリ１５Ｃ、および送信機１５Ｄにより構成され、ヘッダ付加部１５Ａでデータスタート位置や圧縮データ量の情報を圧縮画像データに付加し、シリアル変換部１５Ｂでパラレルデータをシリアルデータに変換し、ヘッダ情報付きの圧縮画像データをメモリ１５Ｃに格納し、送信機１５Ｄでメモリに格納されたデータを順次送信する。

次に、受信伸張系統部のデータの流れを説明する。受信部２１は、受信機２１Ａ、パラレル変換部２１Ｂ、ヘッダ認識部２１Ｃ、およびメモリ２１Ｄにより構成される。

受信部２１では、受信機２１Ａで圧縮送信系統部１０から送信されたヘッダ情報付きの圧縮画像データを受信し、パラレル変換部２１Ｂでシリアルデータからパラレルデータに変換後、ヘッダ認識部２１Ｃでデータサイズを認識し、圧縮画像データのみをメモリ２１Ｄに格納する。

伸張部２２は、復号化部２２Ａ、逆量子化部２２Ｂ、および逆ＬＯＴ部２２Ｃで構成され、圧縮画像データを順次入力し、復号化処理、逆量子化処理、および逆ＬＯＴ処理により伸張処理を行い画像データを出力する。

画像処理部２３では、伸張された画像データに対し、歪み補正や強調などの画像処理を行い画像を見やすく加工する。表示部２４は、ＲＧＢ変換部２４Ａ、モニタ２４Ｂで構成され、画像処理部２３で加工されたデータをモニタに出力するためのＲＧＢ形式に変換し、モニタ出力のための同期信号を付加して、モニタ２４Ｂに出力して表示する。

なお、上述した画像圧縮処理装置１は、圧縮送信系統部１０と、受信伸張系統部２０の両方を有する構成を示しているが、もちろん、圧縮送信系統部１０のみまたは受信伸張系統部２０のみで構成される場合もある。

（ＬＯＴについての説明）
ＬＯＴ(重複直交変換)は、一定の画素領域を重複しながら空間周波数に分解する方式である。ＬＯＴ処理単位を１６画素×１６ラインとして以降の説明を行なう。このときの処理単位を図２に示す。

また、ＬＯＴ処理は、図３に示すようにＬＯＴ処理単位として選択される第１の画素領域(処理（１）)と次にＬＯＴ処理される第２の画素領域(処理（２）)を８画素ずつ重複しながら横に順次処理を行っていく。これは図３に示す重複部にあたり、この量を重複量とする。縦も横と同様に８画素ずつ重複しながら処理を行う。

なお、８画素×８ラインのＬＯＴ処理単位の場合は、重複量は４画素になる。なお、このＬＯＴ処理の詳細については、後述する「ＬＯＴについての補足説明」の項で再度詳細に説明する。

（補間部についての説明）
補間部１３は、図１に示すように、第１補間部１３Ａと第２補間部１３Ｂとで構成される。この補間部１３において行われる補間処理の流れを図４に示す。

図４のフローに示すように、第１補間部１３Ａでは、画像が入力されると（ステップＳ１１）、入力された入力画像のサイズを確認する（ステップＳ１２）。

そして、縦・横の有効画素数が半ブロック単位の整数倍になっていない場合に（ステップＳ１２：Ｎｏ）、不足数に応じて入力画像の周囲に画素を補間する（ステップＳ１３）。この整数倍に補間する領域を第１補間領域とする。

第１補間領域が補間されると、その後、第２補間部１３Ｂにより第１補間領域の周囲に第２の補間領域を作成し（ステップＳ１４）、補間画像を作成して出力する（ステップＳ１５）。

上述した第１補間部１３Ａにおける第１補間領域の補間処理では、ＬＯＴ処理単位が１６画素×１６ラインの場合、縦・横が半ブロック単位の８の整数倍になっているか確認を行い。整数倍にならない物について不足量を算出する。まず、横方向について考える。横の有効画素が８で割り切れない場合の不足量をｎ画素とした場合、ｎに応じて次の処理を行う。この処理では境界面の画素（入力画像の最外端の画素）をコピーすることによって、第１補間領域を補間する。

まず、不足量ｎが、ｎ≦４のときは、左端にｎ画素補間を行なう。
不足量ｎが、ｎ＞４のときは、左端に４画素、右端に(ｎ−４)画素の補間を行なう。

縦方向についても横方向と同様に不足量をｎ画素とすると次の処理を行う
不足量ｎが、ｎ≦４のときは、上端にｎ画素補間を行なう。
ｎ＞４のときは、上端に４画素、下端に(ｎ−４)画素の補間を行なう。

このように、第１補間部１３Ａにより、ＬＯＴ処理する画像データを８の整数倍に補間する処理を行うと共に、画像データの左右方向の一方の側を優先側に定め、優先側から画素の補間を行う。上下方向においても一方の側を優先側に定め、優先側から画素の補間を行う。

このように、第１補間領域を一方の側に偏らせる処理により、伸張後の有効画素領域には不足量ｎに応じて次のように制御出来る。

第１に、０≦ｎ＜(重複量／２)の場合は、伸張後の画像は、入力画像の周辺が欠けた画像になる。図７（Ａ）、（Ｂ）に従来補間と本発明の補間における、入力画像と補間位置、および伸張後の有効画素の例を示す。図７（Ａ）、（Ｂ）に示すように、従来補間と同様に伸張後の有効画素は周辺画素が欠けた画像になる。

第２に、(重複量／２)≦ｎ＜(重複量／１)の場合は、伸張後の画像は、補間画素は1つもない左/上端の入力画像が含まれた画像で、右/下が欠ける画像になる。図７（Ｃ）、（Ｄ）に、従来補間と本発明の補間における、入力画像と補間位置、および伸張後の有効画素を示す。図７（Ｃ）、（Ｄ）に示すように、従来補間では伸張後の有効画素に入力画像が欠けた上に補間画像を含むが、本発明による補間では、伸張後の有効画素は入力画像の右/下が欠けた画像になる。つまり、伸張後の有効画素は、補間画素を含まず入力画像が欠けた画像になる。

第３に、ｎ＝(重複量／１)の場合は、伸張後の画像は、補間画素は１つもない入力画像が全て含まれた画像になる。つまり入力画像と伸張後の画像は一致する。図８（Ａ）、（Ｂ）に、従来補間と本発明の補間における、入力画像と補間位置、および伸張後の有効画素を示す。図８（Ａ）、（Ｂ）に示すように、従来補間では伸張後の有効画素は入力画像が欠けた上に補間画像を含むが、本発明による補間では、伸張後の有効画素は入力画像がそのまま出力される。

第４に、ｎ＞(重複量／１)の場合は、伸張後の画像は、補間画素を右/下端に含む入力画像が全て含まれた画像になる。図８（Ｃ）、（Ｄ）に、従来補間と本発明の補間における、入力画像と補間位置、および伸張後の有効画素を示す。図８（Ｃ）、（Ｄ）に示すように、従来補間では伸張後の有効画素は、入力画像が欠けた上に補間画像を含むが、本発明による補間では、伸張後の有効画素は入力画像を全て含む画像になる。

また、第２補間部１３Ｂでは、整数倍に補間された補間データの周辺に重複量の半分である４画素の領域を補間する。この周辺に補間する領域を第２補間領域とする。補間領域の関係を図５に示す。この補間方法については、図６に示すように、第２補間を行なう画像の最外端を含む領域の画像を第２補間領域との境界を基準に折り返すようにして補間を行なう。第１補間領域がある場合も同様に第１補間領域を含む画像を折り返すように周辺に補間を行なう。

なお、上述のように、第２補間領域において折り返し補間を行い、また、第１補間領域において４画素を境に両端に分割する（補間を一方に偏らせる）場合には、ＬＯＴ処理において、フィルタの係数の対称性のため、演算の回数を減らすことができ、消費電力を小さくできる。（詳細については、後述する「ＬＯＴの補足説明」の項において、図１７および図１８により再度説明する。）

以上、本発明の第１の実施の形態について説明したが、前述の補間手段は、画像圧縮処理装置１内の補間部１３（第１補間部１３Ａおよび第２補間部１３Ｂ）が相当し、前述の第１補間手段は第１補間部１３Ａが、前述の第２補間手段は第２補間部１３Ｂが相当する。また、圧縮処理手段は圧縮処理部１４が相当する。

そして、第１補間手段（第１補間部１３Ａ）では、ＹＵＶで入力された画素データに対して、縦・横の有効画素数が、半ブロック単位（またはブロック単位）の整数倍になっていない場合、不足数に応じて入力画像の周囲に画素を補間する。

また、第１補間手段（第１補間部１３Ａ）で整数倍の補間処理を行ない、第２補間手段（第２補間部１３Ｂ）で入力画像を整数倍にした画像の周辺に重複量の半分の画像を補間する。これにより、伸張後の有効画素領域が第１補間部で補間した画素を含む入力画像になるため、入力画像が全て伸張後に出力される。

［第２の実施の形態］
次に本発明の第２の実施の形態に係る画像圧縮処理装置について説明する。第２の実施の形態の画像圧縮処理装置における補間部は、図１に示す第１の実施の形態の補間部１３と同様に、第１補間部１３Ａと第２補間部１３Ｂで構成されており、第１の実施の形態と比較して補間値の決め方が異なるものである。

第１補間部１３Ａでは、縦・横の有効画素数が、例えば、ブロック単位の整数倍になっていない場合、不足数に応じて入力画像の周囲に画素を補間する。この整数倍に補間する領域を第１補間領域とする。ＬＯＴ処理単位が１６画素×１６ラインの場合、縦・横がブロック単位が１６の場合、１６の整数倍になっているか確認を行い。整数倍にならない物について不足量を算出する。

まず、横方向について考える。横の有効画素が１６で割り切れない場合の不足量をｎ画素とした場合、ｎに応じて次の処理を行う。この処理では境界面の画素Ａｍと、１つ隣りの画素Ａｍ−１の画素値の差分「（Ａｍ）-（Ａｍ−１）」、つまり傾きを求め、この傾きが第１補間領域内で単調に変化し、傾き“０”に収束するように、第１補間領域に補間する値を決定する。

この補間方法においても、まず、不足量ｎが、ｎ≦４のときは、左端にｎ画素補間を行なう。不足量ｎが、ｎ＞４のときは、左端に４画素、右端に(ｎ−４)画素の補間を行なう。

縦方向についても横方向と同様に不足量をｎ画素とすると次の処理を行う。まず、不足量ｎが、ｎ≦４のときは、上端にｎ画素補間を行なう。不足量ｎが、ｎ＞４のときは、上端に４画素、下端に(ｎ−４)画素の補間を行なう。

そして、この第１の補間領域において補間を行う際に、境界から最外周に向かって、画素の濃度値が単調に変化し、最外周における傾きが“０”に収束するように補間値を決める。

図９に、画素の濃度値の傾きが“０”に収束するように補間を決める具体的な例を示している。図９に示す例では、入力画像の右端の第１補間領域に３つの画素（ｎ＝３）を補間する例を示している。この例では、入力画像と第１補間領域との境界において、この境界に接する画素Ａｍの画素値が１６であり、その左隣の画素Ａｍ−１の画素値が１０である場合は、傾き「（Ａｍ）−（Ａｍ−１）」は６となる。この傾きを、単調変化かつ最外周で補間値の傾きが０に収束するように補間する。すなわち、傾き６を、外側に向かって２（６÷３）ずつ戻すように、補間する画素値を決める。

従って、第１補間領域に補間される画素の画素値は、２０「＝１６＋（６−２）」，２２「＝２０＋（４−２）」，２２「＝２２＋（２−２）」となる。

その後、第２補間部では、整数倍に補間された補間データの周辺に重複量の半分である４画素を補間する。この周辺に補間する領域を第２補間領域とする。

このように、本発明の第２の実施の形態においては、第１補間部の補間値を決定する際に、境界面の２つの画素Ａｍ，Ａｍ−１の画素値の差分（（Ａｍ）−（Ａｍ−１））を端画素の傾きとして求める。そして、この傾きを“０”に収束するように、端に補間する値を決める。これにより、ＬＯＴ重複部の折り返しにより起こる周波数成分の変動を抑えることが出来るため、圧縮率を上げることができる。

[第３の実施の形態]
図１０は、本発明の第３の実施の形態に係る画像圧縮処理装置の構成を示す図である。第３の実施の形態の画像圧縮処理装置１Ａにおいては、入力画像の画像サイズを検出する画像サイズ検出部１６を設けた点と、補間部１３Ａが、ＬＯＴブロック単位決定部１３Ｃと、第２補間部１３Ｂとで構成される点に特徴がある。この画像圧縮処理装置１Ａでは、ＬＯＴの処理単位は固定のものではなく、画像サイズに応じてＬＯＴの処理単位が決定される。

このＬＯＴブロック単位決定部１３Ｃに、画像サイズ検出部１６により検出された入力画像のサイズ情報（縦幅：Ｈ、横幅：Ｗ）が入力されると、ＬＯＴブロック単位決定部１３Ｃでは、縦幅と横幅の値を下位ビットから確認し、“１”になった箇所を検出する。この検出した値により重複量を決定する。また、重複量の２倍をＬＯＴのブロック単位（ＬＯＴ処理単位）として決定する。

例えば、横幅Ｗが４０、「Ｗ＝４０(２進数１０１０００)」、縦幅Ｈが４４、「Ｈ＝４４(２進数１０１１００)ならＨの下位３ビット目で“１”になる。ここで重複量の値は３ビット目が“１”となる２進数つまり４(２進数１００)となる。

また、ＬＯＴのブロック単位は重複量の倍になるので、８×８に決定する。決定した重複量の半分のサイズを周辺に補間する。また、ＬＯＴのブロック単位を後段に出力することで、後段のＬＯＴ処理を変更する。この第２補間領域の補間は図６に示すように折り返しによる補間を行なう。また、この際の補間領域について図１１に示す。すなわち、本発明の第３の実施の形態においては、図１１に示すように、第１補間領域を設けることなく、第２補間領域のみの補間となるため、伸張後の有効画素領域と入力画像が同じになり、補間画素が出力されない。

[第４の実施の形態］
本発明の第４の実施の形態は、図１９に示した従来の補間方法により第１補間領域を補間した後に、さらにその外周部に第２補間領域を補間する例である。

この第４の実施の形態における補間部は、図１に示す第１の実施の形態と同様に、第１補間部１３Ａと第２補間部１３Ｂとで構成される。
そして、第１補間部は、第１補間領域に縦・横の有効画素数がブロック単位（または、半ブロック単位）の整数倍になっていない場合、図１９に示す従来補間の場合と同様に、不足数に応じて入力画像の片端に画素を補間する。この処理では境界面の画素を右端および下端にコピーすることによって、第１補間領域を補間する。

第２補間部では、整数倍に補間された補間データの周辺に重複量の半分である４画素を補間する。この第２補間領域の補間は図６に示すように折り返しによる補間を行なう。この際の補間領域について図１２に示す。

図１２において、第１補間領域Ａには、境界面の画素がコピーされる。また、第２補間領域Ｂには、図６に示すように折り返しによる補間が行われる。これにより、伸張後の有効画素において欠けた部分をなくすことができる。

［ＬＯＴについての補足説明］
以上、本発明の実施の形態について説明したが、ここで、ＬＯＴ処理について、補足して説明しておく。これは、ＬＯＴの基本概念を説明すると共に、第１補間領域と第２補間領域の決定の仕方、および補間値の決め方（例えば、第２補間領域における折り返し補間、第１補間領域における境界値コピー）に対する、圧縮処理および伸張処理における演算処理の内容とその効果について補足して説明するためである。

まず、水平方向(ｘ方向)のＬＯＴ演算を考える（垂直方向の演算も同様である)。図１３は、ＬＯＴ係数の例を示す図であり、図に示すように、本発明で使用するＬＯＴの係数は、１６の処理単位で考えた場合で、８つずつ対称になるような係数値ａ〜ｈを取る。

また、ＬＯＴの係数は、図１３（Ｂ）、（Ｃ）に示すようなマトリックスになっており、図１３（Ｂ），（Ｃ）に示すような対称性を持っている。すなわち、マトリックスＦ１とＦ２の関係は、縦、横が入れ替わった形になっている。例えば、ａ１１＝ｂ１１,ａ１２＝ｂ２１，ａ１３＝ｂ３１，・・・，ａ８１６＝ｂ１６８、となる。

図１４は、水平方向の画素値とＬＯＴ係数との関係を示す図であり、水平方向の画素値をｘ１〜ｘ２４とすると、次のような積和演算によりＸ１〜Ｘ８を求めている。図１４の係数（１）、係数（２）、係数（３）は、図１３の係数と同じだが、位置により係数（１）〜（３）と順に振っている。

圧縮処理の演算は以下の式により行う。
［Ｘ１ Ｘ２ Ｘ３ Ｘ４ Ｘ５ Ｘ６ Ｘ７ Ｘ８］
＝［x１ x２ x３ x４ x５ x６ x７ x８ x９ x１０ x１１ x１２ x１３ x１４ ｘ１５ x１６］×Ｆ２

伸張処理の場合は、圧縮で使うフィルタの逆変換を使用している。

［x１’ x２’ x３’ x４’ x５’ x６’ x７’ x８’ x９’ x１０’ x１１’ x１２’ x１３’ x１４’ ｘ１５’ x１６’］＝
［Ｘ１’ Ｘ２’ Ｘ３’ Ｘ４’ Ｘ５’ Ｘ６’ Ｘ７’ Ｘ８’］×Ｆ２’

ＬＯＴは重複処理のため、この処理で出力された値は１画素につき２つの値が得られている。図１４では、係数（１）と係数（２）の結果のことである。そのため、以下の式で示すように、重複部の加算を行なう必要がある。

x１＝x１’＋x１’’
ｘ１’：係数（１）で出力される値、x１”：係数（２）で出力される値

なお、図１５は、ＬＯＴ圧縮と伸張（ｉＬＯＴ）について説明するための図である。この例では、１６×１６（１６ライン×１６画素）を８×８（８ライン×８画素）に圧縮処理を行う例を示している。また、伸張の場合には、８×８（８ライン×８画素）を１６×１６（１６ライン×１６画素）に伸張処理を行う例を示している。

図１５（Ａ）に示す圧縮処理手順では、ステップＳ１において垂直方向の変換を行う。この例では、８×１６の係数を有するフィルタ（１）と、１６×８（１６ライン×８画素）の画素との演算を行い、８×１６（８画素×１６ライン）の中間データを得る。

続いて、ステップＳ２において水平方向の変換を行う。すなわち、ステップＳ１で得られた中間データ（８ライン×１６画素）に、１６×８の係数を有するフィルタ（２）との演算を行い、８×８（８ライン×８画素）の出力データを圧縮結果として得る。

また、図１５（Ｂ）は、伸張処理の手順を示しており、伸張の場合には、ステップＳ１において水平方向の変換を行う。この例では、８×８（８ライン×８画素）の画素と、８×１６の係数を有するフィルタ（１）との演算を行い、８×１６（８画素×１６ライン）の中間データを得る。

続いて、ステップＳ２において垂直方向の変換を行う。すなわち、ステップＳ１で得られた中間データ（８ライン×１６画素）と、８×１６の係数を有するフィルタ（２）との演算を行い、１６×１６（１６ライン×１６画素）の出力データを伸張縮結果として得る。

（第２補間領域(折り返し部)箇所の水平方向の演算について）
次に、第２補間領域(折り返し部)箇所の水平方向の演算を考える。
図１６は、第２補間領域の水平方向の画素値とＬＯＴ係数の関係を示す図である。
まず、圧縮ＬＯＴ処理について説明する。係数（２）の処理では、折り返し補間した画素の画素値ｘ４Ａ〜ｘ１Ａと入力画素の画素値ｘ１〜ｘ１２を用いて、画素値Ｘ１’，Ｘ２’，Ｘ３’,Ｘ４’，Ｘ５’，Ｘ６’，Ｘ７’，Ｘ８’を得る。

同様に、係数（３）の処理では、画素値Ｘ１’’，Ｘ２’’，Ｘ３’’，Ｘ４’’，Ｘ５’’，Ｘ６’’，Ｘ７’’，Ｘ８’’を得る。また、係数（１）の演算は実際には行なわれないが、仮に係数（１）で処理を行うと図１６に示すように画素値Ｘ１〜Ｘ８を得ることになる。

次に、伸張処理について説明する。
係数（２）の処理では、画素値Ｘ１’、Ｘ２’、Ｘ３’、Ｘ４’、Ｘ５’、Ｘ６’、Ｘ７’、Ｘ８’を用いて、画素値ｘ４Ａ’’〜ｘ１Ａ’’、ｘ１’’〜ｘ１２’’を得る。同様に、係数（３）の処理では、画素値ｘ５’’’〜ｘ２０’’’を得る。これらの画素は重複しているため、２つの演算結果、例えばｘ５の位置で見ると係数（２）の演算結果のｘ５’’と係数（３）の演算結果のｘ５’’’を加算してＬＯＴの出力とする。しかし、画素値ｘ１〜ｘ４の位置では、処理（２）の演算結果しかないため、画素値ｘ１’〜ｘ４’に変わる仮の値を演算しておく必要がある。例えば、折り返しと同様にｘ１Ａ’’〜ｘ４Ａ’’を算出してｘ４’〜ｘ１’の代用にしている。この場合、例えば“０”で補間していると、ゲイン落ち(輝度とするとこの値が通常より小さくなるので暗い画像になる)が発生してしまい周辺画像の画質が悪くなる。

この際に、折り返し補間を行なっておくと、仮に算出した係数（１）のｉＬＯＴ処理により得られる、画素値ｘ４Ａ’〜ｘ１Ａ’，ｘ１’〜ｘ４’の結果が、係数（２）のｉＬＯＴ処理により得られる、画素値ｘ４’’〜ｘ１’’，ｘ１Ａ’’〜ｘ４Ａ’’の結果と同じになる。つまり、係数の対称性により「ｘ４Ａ’＝ｘ４’’，ｘ３Ａ’=ｘ３’’，ｘ２Ａ’=ｘ２’’，ｘ１Ａ’=ｘ１’’，ｘ１’=ｘ１Ａ’’，ｘ２’=ｘ２Ａ’’，ｘ３’=ｘ３Ａ’’，ｘ４’=ｘ４Ａ’’」となっているため、係数（２）の処理により「ｘ１’，ｘ２’，ｘ３’，ｘ４’」と同値を得られ、重複部加算は、「ｘ１=ｘ１Ａ’’+ｘ１’’，ｘ２=ｘ２Ａ’’+ｘ２’’，ｘ３=ｘ３Ａ’’+ ｘ３’’，ｘ４=ｘ４Ａ’’+ｘ４’’」のように演算することが出来る。

このように、第２補間領域を折り返しにすることにより、ｉＬＯＴ(伸張側逆ＬＯＴ)処理において、係数の積和演算が１回だけで良くなるため、演算回数が減り消費電力が減る。

（第１補間領域と第２補間領域の場合）
次に、第１補間領域と第２補間領域（第１補間領域＋第２補間領域）の場合のときを考える。
図１７は、第１補間領域および第２補間領域の水平方向の画素値と、ＬＯＴ係数との関係を示す図である。まず、圧縮ＬＯＴ処理について説明する。

係数（２）の処理では、折り返し補間した画素の画素値ｘ１Ｈ〜ｘ１Ａと、入力画素の画素値ｘ１〜ｘ８とを用いて、画素値Ｘ１’，Ｘ２’，Ｘ３’，Ｘ４’，Ｘ５’，Ｘ６’，Ｘ７’，Ｘ８’を得る。同様に、係数（３）の処理では、画素値Ｘ１’’，Ｘ２’’，Ｘ３’’，Ｘ４’’，Ｘ５’’，Ｘ６’’，Ｘ７’’，Ｘ８’’を得る。また、係数（１）の演算は実際には行なわれないが、仮に係数（１）で処理を行うと図のように画素値Ｘ１〜Ｘ８を得ることになる。

次に、伸張処理について説明する。
係数（２）の処理では、画素値Ｘ１’，Ｘ２’，Ｘ３’，Ｘ４’，Ｘ５’，Ｘ６’，Ｘ７’，Ｘ８’を用いて、画素値ｘ１Ｈ’’〜ｘ１Ａ’’、ｘ１’’〜ｘ８’’を得る。同様に、係数（３）の処理では画素値ｘ１’’’〜ｘ１６’’’を得る。これらの画素は重複しているため、２つの演算結果、例えば、画素値ｘ１の位置で見ると係数（２）の演算結果のｘ１’’と係数（３）の演算結果のｘ１’’’を加算してＬＯＴの出力とする。この際に、第１補間領域、および第２補間領域における補間を図のように行なっておくと、仮に算出した係数（１）のiＬＯＴ処理により得られるｘ１Ｈ’〜ｘ１Ａ’の結果と係数（２）のiＬＯＴ処理により得られるｘ１Ｈ’’〜ｘ１Ａ’’の結果が不要になる。その代わりに、この部分には、境界値をコピーする。このように、第１補間領域に境界値をコピーし、第２補間領域を折り返し補間にすることにより伸張時の演算量を低減することができる。

（第２補間領域を折り返し補間とし、第１補間領域を境界面コピーにより４画素を境に両端に分割する場合）
次に、第２補間領域を折り返し補間とし、第１補間領域を境界面コピーにより４画素を境に両端に分割する場合の例について説明する。

第１の実施の形態において説明したように、第１補間領域において、不足量がｎ画素の場合、ｎ≦(重複量／２)のときは、左端にｎ画素補間を行ない、ｎ＞(重複量／２)のときは、左端に(重複量／２)画素、右端に(ｎ−(重複量／２))画素の補間を行なう。

例えば、ＬＯＴ処理単位が１６×１６つまり重複量が８のとき、
（１）ｎ≦４のときは、左端にｎ画素補間を行なう。
（２）ｎ＞４のときは、左端に４画素、右端に(ｎ−４)画素の補間を行なう。

図１８（Ａ）にｎ≧４のときの例を示す。図に示すように、ＬＯＴ圧縮時の左端の演算を係数の和と乗算１回で行なえるため、演算回数が減り消費電力が小さくなる。
ａ・ｘ１＋b・ｘ１＋c・ｘ１＋d・ｘ１＋e・ｘ１＋f・ｘ１＋g・ｘ１＋ｈ・ｘ１
＝ｘ１・(ａ+ｂ+ｃ+ｄ+ｅ+ｆ+ｇ+ｈ)

また、伸張時に左端部の演算が不要になるため、途中の演算と端の演算を分ける必要がなくなり回路規模が小さくなる。また、係数（２）の半分の演算から算出すれば良いため、演算回数が減り消費電力が小さくなる。

また、図１８（Ｂ）に、ｎ≧８のときの例を示す。この場合は、両端の演算において上記効果がある。

このように、第２補間領域を返し補間とし、第１補間領域を境界面コピーにより４画素を境に両端に分割することにより、入力画像の有効画素をなるべく減らさずに残しつつ不足ラインの補間を行うことができる効果に加えて、ＬＯＴ処理時およびｉＬＯＴ処理時において、演算量を低減でき、演算回路の回路規模を低減すると共に、消費電力を低減することができる。

以上、本発明の実施の形態について説明したが、図１に示す画像圧縮処理装置１、および図１０に示す画像圧縮処理装置１Ａは、前述したように内部にコンピュータシステムを有している。

そして、図１に示す画像圧縮処理装置１、および図１０に示す画像圧縮処理装置１Ａ内の各処理部は専用のハードウェアにより実現されるものであってもよく、また、各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりその機能を実現させるものであってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

以上、本発明の実施の形態について説明したが、本発明の画像圧縮処理装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

本発明の第１の実施の形態に係る画像圧縮処理装置の構成を示す図である。 ＬＯＴ処理単位の例を示す図である。 ＬＯＴ処理単位の重複部を示す図である。 補間部において行われる補間処理のフローを示す図である。 第１補間領域と第２補間領域との補間領域の関係を示す図である。 第２補間領域で行われる折り返し補間について説明するための図である。 入力画像と補間位置と伸張後の有効画素の例を示す図である。 入力画像と補間位置と伸張後の有効画素の他の例を示す図である。 画素の濃度値の傾きが“０”に収束するように補間を決める場合の例を示す図である。 本発明の第３の実施の形態に係る画像圧縮処理装置の構成を示す図である。 本発明の第３の実施の形態における補間領域を示す図である。 本発明の第４の実施の形態における補間領域の例を示す図である。 ＬＯＴ係数の例を示す図である。 水平方向の画素値とＬＯＴ係数との関係を示す図である。 ＬＯＴ圧縮と伸張（ｉＬＯＴ）について説明するための図である。 第２補間領域の水平方向の画素値とＬＯＴ係数の関係を示す図である。 第１補間領域および第２補間領域の水平方向の画素値とＬＯＴ係数の関係を示す図である。 第１補間領域を４画素を境に両端に分割する場合の画素値とＬＯＴ係数の関係を示す図である。 従来の補間の例を示す図である。

符号の説明

１，１Ａ・・・画像圧縮処理装置、１０・・・圧縮送信系統部、１１・・・撮像部、１１Ａ・・・ＣＣＤ、１１Ｂ・・・ＡＤ変換部、１２・・・データ変換部、１３・・・補間部、１３Ａ・・・第１補間部、１３Ｂ・・・第２補間部、１３Ｃ・・・ＬＯＴブロック単位決定部、１４・・・圧縮処理部、１４Ａ・・・ＬＯＴ部、１４Ｂ・・・量子化部、１４Ｃ・・・符号化部、１５・・・送信部、１５Ａ・・・ヘッダ付加部、１５Ｂ・・・シリアル変換部、１５Ｃ・・・メモリ、１５Ｄ・・・送信機、１６・・・画像サイズ検出部、２０・・・受信伸張系統部、２１・・・受信部、２１Ａ・・・受信機、２１Ｂ・・・パラレル変換部、２１Ｃ・・・ヘッダ認識部、２１Ｄ・・・メモリ、２２・・・伸張部、２２Ａ・・・復号化部、２２Ｂ・・・逆量子化部、２２Ｃ・・・逆ＬＯＴ部、２３・・・画像処理部、２４・・・表示部、２４Ａ・・・ＲＧＢ変換部、２４Ｂ・・・モニタ、３０・・・制御部

Claims (6)

1. ＬＯＴ処理単位として選択される第１の画素領域と、前記第１の画素領域と一部重複し前記ＬＯＴ処理単位として選択される第２の画素領域と、の重複量に基づいて、入力画像の周囲に付加する補間領域を決定し、当該補間領域内の画素情報を補間する補間手段と、
   前記補間手段により補間された前記入力画像の圧縮処理を行う圧縮処理手段と、
   を有することを特徴とする圧縮処理装置。
2. 前記補間領域を第１補間領域とし、
   前記補間手段を第１補間手段としたとき、
   伸張後に有効画素となる画素の外側に前記重複量の１／２相当量の領域を含み、かつ、縦横が前記ＬＯＴ処理単位の縦横の整数倍となるように、前記第１補間領域の外側に付加する第２補間領域を決定し、当該第２補間領域内の画素情報を補間する第２補間手段を、
   さらに更に有することを特徴とする請求項１に記載の圧縮処理装置。
3. 前記第２補間手段は、伸張後に有効画素となる画素が占める領域を入力画像の画素領域に一致させるよう前記第２補間領域を決定すること、
   を特徴とする請求項２に記載の圧縮処理装置。
4. 前記第１補間手段は、前記有効画素の左右側、および上下側に前記第１補間領域を配置する場合に、
   前記左右側の一方の側を予め優先側として定め、当該優先側の第１補間領域の幅が所定の幅になるまでは、当該優先側にのみ前記第１補間領域を配置し、
   また、前記上下側の一方の側を予め優先側として定め、当該優先側の第１補間領域の幅が所定の幅になるまでは、当該優先側にのみ前記第１補間領域を配置すること、
   を特徴とする請求項２に記載の画像圧縮処理装置。
5. 前記補間手段は、前記補間領域の左側、右側、上側、または下側の幅と前記入力画像の画素情報とに基づいて、入力画像と前記補間領域の境界から補間領域の最外周に向かい、隣接する画素の画素値を単調増加または単調減少させ、前記補間領域の最外周における画素値の傾きを０に収束させるように補間画素情報を生成し、当該補間画素情報により前記補間領域内の画素情報を補間すること、
   を特徴とする請求項１に記載の画像圧縮処理装置。
6. ＬＯＴ処理単位として選択される第１の画素領域と、前記第１の画素領域と一部重複し前記ＬＯＴ処理単位として選択される第２の画素領域と、の重複量に基づいて、入力画像の周囲に付加する補間領域を決定し、当該補間領域内の画素情報を補間する補間手順と、
   前記補間手順により補間された前記入力画像の圧縮処理を行う圧縮処理手順と、
   が画像圧縮処理装置内の制御部により行われることを特徴とする画像圧縮方法。

Images