JP2017073755A - 符号化装置及びその制御方法、プログラム並びに記憶媒体 - Google Patents

Abstract

【課題】 画素単位に許容誤差を設定可能な符号化を行う。【解決手段】 符号化対象の画像情報と、当該画像情報における各画素の非可逆符号化による許容誤差を表す許容誤差情報とを入力する入力部と、許容誤差情報を参照して、画像情報内の画素をラスタースキャン順に非可逆符号化する第１符号化部と、許容誤差情報を可逆符号化する第２符号化部とを有する。そして、第１符号化部は、ラスタースキャン中の着目画素の周囲に位置し既符号化の複数の画素におけるの、予め設定された個数の画素ペアの差分値それぞれが、着目画素に設定された許容誤差以下であるという条件を満たすか否かを判定する判定部と、該判定部が条件を満たさないと判定した場合に着目画素を予測符号化し、判定部が条件を満たすと判定した場合に、ランの始端となる画素と着目画素との差が当該着目画素の許容誤差の範囲内にある場合にランの計数を継続し、許容誤差の範囲を超えた場合には計数したランを符号化する符号化部を含む。【選択図】 図１

Description

本発明は、画像の符号化技術に関するものである。

近年、カメラから被写体までの距離を画素値で表す距離情報（距離画像情報とも言う）を圧縮するための符号化技術が検討されている。距離情報を非可逆圧縮する際のポイントは、圧縮により発生する視覚的画像の劣化を抑制することより、３次元情報として被写体の構造が崩れないことである。

ＪＰＥＧ等、カラー画像の圧縮に広く利用される、周波数変換を利用した符号化方式は、画像のエッジ部分で大きな画素値の変化が発生する。よって、距離情報を圧縮する場合はこの性質が大きな問題となることは容易に理解できよう。

そこで、圧縮による画素値の最大歪みを任意の値に抑えることができるニアロスレス符号化が着目される。ニアロスレス符号化の代表的なものに、標準符号化方式としてのＪＰＥＧ−ＬＳ（非特許文献１）がある。ＪＰＥＧ−ＬＳを距離情報に適用すれば、圧縮により発生する距離情報の各画素の誤差の最大値が抑制され、３Ｄ構造の大きな崩れを防ぐことができる。

The LOCO-I Lossless Image Compression Algorithm: Principles and Standardization into JPEG-LS, (IEEE TRANSACTION ON IMAGE PROCESSING, VOL.9, NO.8, AUGUST 2000)

しかし、ＪＰＥＧ−ＬＳは、画像全体に対して、一律に設定した最大歪みを許容誤差とする符号化である。それ故、同一距離画像内の複数の被写体が存在する場合に、被写体毎に許容誤差を設定できない。

本発明は、上記問題に鑑みなされたものであり、画素単位に許容誤差を設定可能とする符号化技術を提供しようとするものである。また、本発明は、さらに、かかる符号化技術を利用して、被写体の属性情報と距離情報の両方を用いて、被写体をその属性に適した許容誤差を設定したうえで符号化する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の符号化装置は以下の構成を備える。すなわち、
画像情報を符号化する符号化装置であって、符号化対象の画像情報と、当該画像情報における各画素の非可逆符号化による許容誤差を表す許容誤差情報とを入力する入力手段と、前記許容誤差情報を参照して、前記画像情報内の画素をラスタースキャン順に非可逆符号化する第１符号化手段と、前記許容誤差情報を可逆符号化する第２符号化手段とを有し、前記第１符号化手段は、前記ラスタースキャン中の着目画素の周囲に位置し既符号化の複数の画素におけるの、予め設定された個数の画素ペアの差分値それぞれが、前記着目画素に設定された許容誤差以下であるという条件を満たすか否かを判定する判定手段と、該判定手段が前記条件を満たさないと判定した場合に前記着目画素を予測符号化し、前記判定手段が前記条件を満たすと判定した場合に、ランの始端となる画素と前記着目画素との差が当該着目画素の許容誤差の範囲内にある場合にランの計数を継続し、前記許容誤差の範囲を超えた場合には計数したランを符号化する符号化手段とを含むことを特徴とする。

本発明によれば、画素単位に許容誤差を設定可能な符号化を行うことが可能となる。この結果、距離画像情報に適用した場合、必要な画素に対して許容誤差を小さくして、３次元情報として被写体の構造が崩れることを抑制することが可能になる。

第１の実施形態の符号化装置のブロック構成図。 生成される符号化データの構造を示す図。 第１の実施形態の第１符号化部の構成と動作を説明するための図。 距離画像情報と許容誤差情報の例を示す図。 第１の実施形態の第１符号化部の符号化処理を示すフローチャート。 第１の実施形態における復号装置のブロック構成図。 第１の実施形態の復号装置の処理手順を示すフローチャート。 第１の実施形態の変形例の情報処理装置のブロック構成図。 第２の実施形態の符号化装置のブロック構成図。 第２の実施形態の符号化装置の処理手順を示すフローチャート。 第２の実施形態における処理過程で参照される情報を示す図。 第２の実施形態における許容誤差マップの符号化データのデータ構造を示す図。 属性情報、距離情報及び距離精度から許容誤差情報を生成する原理を説明するための図。 第２の実施形態における許容誤差マップの生成処理を示すフローチャート。 第３の実施形態の符号化装置のブロック構成図。 第３の実施形態の符号化装置の処理手順を示すフローチャート。 第３の実施形態における処理過程で参照される情報を示す図。 第５の実施形態における量子化パラメータマップの例を示す図。 第５の実施形態における距離と画質の対応例を示す図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下で説明する各実施形態は、本発明を具体的に実施した例を示すもので、特許請求の範囲に記載の構成の具体的な実施形態の１つである。

［第１の実施形態］
図１に、第１の実施形態における画像符号化装置のブロック構成図を示す。本実施形態における符号化対象は距離画像情報とする。距離画像情報は、視点位置（撮像装置）から被写体までの距離を表す値が画素値で構成される。また、実施形態では、許容誤差情報を入力する。この許容誤差情報は、距離画像情報の画素毎の符号化許容誤差を示す許容誤差を示す値で構成される。

図１に示すように、本装置は、距離画像情報入力部１０１、許容誤差情報入力部１０２、第１符号化部１０３、第２符号化部１０４、多重化部１０５、出力部１０６を有する。

距離画像情報入力部１０１は、符号化対象の距離画像情報を入力する。距離画像情報の入力源の種類は問わない。例えば、距離画像を得る方法は、大きく分けてアクティブ方式とパッシブ方式がある。アクティブ方式は被写体にレーザーなどを照射することで距離を取得する方式で、代表的なものとしてレーザーが往復してくるまでの時間から距離を推測するタイムオブフライト方式がその代表である。パッシブ方式は撮影した画像を用いて距離を取得する方式で、代表的なものとして、異なる２視点の撮影画像を用いるステレオマッチング法である。本実施形態ではパッシブ方式によって距離画像を得られたものとする。なお、実施形態における距離画像情報は、水平方向Ｗ画素、垂直方向Ｈ画素で構成され、１画素は８ビット（２５６階調）とする。図４（ａ）は距離画像情報の例を示している。

許容誤差情報入力部１０２は許容誤差情報を入力する。許容誤差情報の入力源も特に問わない。例えば、撮像した画像を表示し、ユーザが、マウスなどのポインティングデバイスを操作して、画像内の被写体を示す領域を指定し、その領域内に対し、予め設定された複数の許容誤差の１つを割り当てることで決定していく。実施形態では、ユーザは、許容誤差として｛極小、小、中、大、極大｝の５つの中から１つを選択する。そして、これにより画素単位の許容誤差値を生成する。なお、実際には、許容誤差として｛極小、小、中、大、極大｝は、例えば｛２，５，２０，５０，５０超（２５５）｝に割り当てる。図４（ｂ）は許容誤差情報の例を示している。ただし、許容誤差情報の表現実態は上記許容誤差値｛２，５，２０，５０，５０超（２５５）｝に｛０〜４｝の信号を割り当て、これを表現形式とする。 この許容誤差値と信号の対応関係は固定的なものとしてもよいし、許容誤差情報のヘッダ情報に加えて可変的に扱われるものでもよい。なお、図示の図４（ａ）、（ｂ）における同一位置の値は、画素値と、その画素値に対して設定された許容誤差値を示している。なお、許容誤差の取り得る種類の数はこれに限らず、適宜変更しても良い。また、許容誤差情報のデータ数は、距離画像情報の画素数と同じである。

第１符号化部１０３は、許容誤差情報入力部１０２が入力した許容誤差情報を参照して、距離画像入力部１０１が入力した距離画像情報をニアロスレス符号化（非可逆符号化）する。第１符号化部１０３の詳細は後述する。

第２符号化部１０３は、許容誤差情報入力部１０２が入力した許容誤差情報を可逆符号化する。可逆符号化であれば、その種類は問わない。実施形態における第２符号化部１０３は、ＪＰＥＧ−ＬＳの可逆モードを利用するものとし、ここでの詳細は省略する。

また、第１符号化部１０３が行う距離画像情報のニアロスレス符号化では、以下に示す条件を満たす符号化データを生成する。
ｎ−δｎ≦ｎ’≦ｎ＋δｎ
上記において、ｎは距離画像情報にて示されるオリジナルの着目画素値、δｎは許容誤差情報にて示される着目画素値ｎの許容誤差（非負の整数）、ｎ’は復号処理で得られる着目画素値である。本実施形態における第１符号化部１０３のニアロスレス符号化は、周知のＪＰＥＧ−ＬＳを改良したものである。かかる点についての詳細は後述する。

多重化部１０５は、第１符号化部１０３で生成した許容誤差情報の符号化データ、第２符号化部１０４が生成した許容誤差情報の符号化データとを所定形式に接続する。そして、出力部１０６は、復号に必要なヘッダを符号化データの先頭に付加し、出力する。図２は、出力部１０６が出力した符号化ストリームのデータ構造である。なお、ファイルヘッダには、距離画像情報の水平方向の画素数Ｗ，垂直方向の画素数Ｈ，１画素が８ビットであること等、復号処理に必要な情報が格納される。

次に実施形態における第１符号化部１０３によるニアロスレス符号化について、さらに詳しく説明する。図３は、実施形態における第１符号化部１０３のブロック構成図である。第１符号化部１０３は方式判定部３０１、予測符号化部３０２、ランレングス符号化部３０３を有する。

方式判定部３０１は、距離画像情報、並びに、許容誤差情報を入力する。先に説明したように、実施形態における第１符号化部１０３は、その基礎にＪＰＥＧ−ＬＳを採用している。それ故、第１符号化部１０３は、ＪＰＥＧ−ＬＳと同様に、距離画像情報内の各画素をラスタースキャン順に符号化していく。

図３（ｂ）は、距離画像情報内の着目画素ｎと、その周囲画素ａ，ｂ，ｃ，ｄとの関係を示している。ラスタースキャン順に符号化するので、周囲画素ａ，ｂ，ｃ，ｄは既符号化の画素である。なお、ラスタースキャン中の着目画素ｎが、距離画像情報の境界（端部）に位置するとき、周囲画素ａ，ｂ，ｃ，ｄの一部、あるいは全部が実在しない画素となる。例えば、着目画素ｎが距離画像情報の左上隅の画素である場合には、画素ａ，ｂ、ｃ、ｄは存在しない。このように存在しない画素の値は予め設定された値（例えば０）であるものとみなす。なお、この値は、符号化装置と復号装置との間で共通であればよい。

図３（ｃ）は、許容誤差情報の配列を示している。図示のδｎ，δａ，δｂ，δｃ，δｄは、図３（ａ）に示す画素ｎ，ａ，ｂ，ｃ，ｄそれぞれの非負の許容誤差値を示している。

方式判定部３０１は、着目画素ｎを符号化する際に、その周囲画素ａ，ｂ，ｃ，ｄにつて、次式（１）に示すように、３つ画素ペアの差分値の絶対値Ｅ１，Ｅ２，Ｅ３を算出する。
Ｅ１＝｜ａ−ｂ｜
Ｅ２＝｜ｃ−ｂ｜
Ｅ３＝｜ｂ−ｄ｜ …（１）
そして、方式判定部３０１は、次の条件１、すなわち、３つの差分値の絶対値がそれぞれ着目画素ｎの許容誤差以下であるか否かを判定する。
［条件１］
Ｅ１≦δｎ かつ
Ｅ２≦δｎ かつ
Ｅ３≦δｎ

そして、上記条件１を満たす場合、方式判定部３０１は、着目画素ｎについてランレングス符号化を開始するものとして決定し、ランレングス符号化部３０３にランレングス符号化の開始指示を与える。そして、上記条件１を満たさない場合、方式判定部３０１は、着目画素ｎを予測符号化するものとして決定し、予想符号部３０２に対して着目画素ｎの予測符号化を行わせる。

予測符号化部３０２は、ＪＰＥＧ−ＬＳと同様、着目画素ｎの予測値ｐを、既符号化の周囲画素ａ、ｂ、ｃから次式に従って算出する。
ｐ＝ａ＋ｂ−ｃ
予測符号化部３０２は、着目画素ｎと予測値ｐとの差分Ｅ（＝ｎ−ｐ）を算出する。そして、予測符号化部３０２は、差分Ｅを「２δｎ＋１」で除算し、小数部を四捨五入した値をゴロムライス符号化する。ＪＰＥＧ−ＬＳではこの他にも符号化効率向上のための処理が存在するが、ここでは詳細を割愛する。

一方、ランレングス符号化部３０３は、方式判定部３０１から、着目画素ｎについてランレングス符号化を開始する旨の指示を入力したとき、着目画素ｎの直前（左隣）の画素ａをランの始端画素値とするランレングス符号化を開始する。そのため、ランレングス符号化部３０３は、ランレングス符号化を開始する際に、着目画素ｎの左隣の画素ａをラン始端画素値ＸＳとして保持する。そして、ランレングス符号化部３０３は、着目画素ｎとラン始端画素値ＸＳとの差分の絶対値が、次の条件２を満たす場合、着目画素ｎの位置をラスタースキャン順に沿って右方向に移動していくとともに、ランを増加させる処理を継続する。
［条件２］
｜ＸＳ−ｎ｜≦δｎ

そして、上記条件２を満たさなくなった場合、ランレングス符号化部３０３はそれまで計数してきたランの符号語を生成、出力し、要求されたランレングス符号化処理を終える。なお、上記条件２を満たしたまま、着目画素ｎが距離画像情報の右端に到達した場合にも、ランレングス符号化部３０３はランの符号語を出力し、そのランレングス符号化処理を終える。

以上であるが、実施形態における第１符号化部１０３のニアロスレス符号化処理を図５のフローチャートに従って説明する。なお、以下の説明にて、変数ｉは、ラスタースキャン順における着目画素位置を特定するために用いるものである。実施形態の場合、距離画像情報は水平方向Ｗ画素、垂直方向Ｈ画素で構成されるので、変数ｉは初期値０から始まり、１，２、…、Ｗ×Ｈ−１と更新されていく。また、ｉ番目の着目画素をｎ（ｉ）と表し、その画素値もｎ（ｉ）とする。また、着目画素ｎ（ｉ）とその周囲画素ａ，ｂ，ｃ，ｄの関係は図３（ｂ）に示す通りであり、周囲画素の画素値もａ、ｂ、ｃ、ｄと表す。また、着目画素ｎ（ｉ）の許容誤差値をδｎ（ｉ）と表現する。さらに、変数Ｒはラン長を表す。また、「Ｓ＃」「Ｓ＃＃」（＃は数字）の表記Ｓは、フローチャートにおけるステップであることを意味する。

第１符号化部１０３は、Ｓ１にて、変数ｉに“０”をセットし、着目画素ｎ（ｉ）を距離画像情報の左上隅の画素位置にセットする。次いで、第１符号化部１０３は、Ｓ２にて、距離画像情報から着目画素ｎ（ｉ）、周囲画素ａ，ｂ，ｃ，ｄと、許容誤差情報から着目画素の許容誤差値δｎ（ｉ）を読み込む。

第１符号化部１０３は、Ｓ３にて、周囲画素ａ，ｂ，ｃ，ｄを用いて、先に示した式（１）に従って３つの差分絶対値Ｅ１，Ｅ２，Ｅ３を算出する。

そして、Ｓ４にて、第１符号化部１０３は、次条件１’を満たすか否かを判定する。
［条件１’］
Ｅ１≦δｎ（ｉ） かつ
Ｅ２≦δｎ（ｉ） かつ
Ｅ３≦δｎ（ｉ）

上記条件１’を満たさない場合、第１符号化部１０３はＳ５に処理を進め、着目画素ｎ（ｉ）の予測符号化を行う。この予測符号化の処理内容な既に説明したとおりである。

そして、Ｓ６にて、第１符号化部１０３は、距離画像情報の全画素の符号化を終えたか否かを判定する。否の場合、第１符号化部１０３は、Ｓ７にて、着目画素位置をラスタースキャン順に１つすすめるために変数ｉを“１”増加させる。そして、第１符号化部１０３は処理をＳ２に戻す。さて、Ｓ４にて、第１符号化部１０３が条件１’を満たすと判定した場合、処理をＳ８に進める。Ｓ８にて、ラン始端画素値ＸＳに、着目画素ｎ（ｉ）の直前（左隣）に位置する画素の値をセットし、かつ、ラン変数Ｒを“０”クリアする。

そして、Ｓ９にて、第１符号化部１０３は次条件２’を満たすか否かを判定する。
［条件２’］
｜ＸＳ−ｎ（ｉ）｜≦δｎ（ｉ）
上記条件２’を満たす場合、第１符号化部１０３は、Ｓ１１にてラン係数Ｒを“１”増加させる。一方、条件２’を満たさないと判断した場合には、着目画素ｎ（ｉ）の直前でランが途絶えたことになるので、Ｓ１０に進み、ラン係数Ｒが示す値（ラン長）に対応する符号化データを生成し、出力する。このとき、第１符号化部１０３は、距離画像情報中の着目画素ｎ（ｉ）より前のＲ個の画素ｎ（ｉ−Ｒ）乃至ｎ（ｉ−１）の値を、ラン始端画素値ＸＳで置き換える。つまり、第１符号化部１０３はローカル復号処理を行う。また、着目画素ｎ（ｉ）の符号化は未完であるので、第１符号化部１０３はＳ５にて着目画素ｎ（ｉ）の予測符号化を行う。

さて、Ｓ１１にて、ラン係数Ｒを“１”増加させた場合、第１符号化部１０３はＳ１２にて、着目画素ｎ（ｉ）がラスタースキャンにおけるライン右端に達したか否かを判定する。着目画素ｎ（ｉ）がライン右端に達したと判定した場合、第１符号化部１０３はＳ１３にて、ラン係数Ｒが示す値（ラン長）に対応する符号化データを生成し、出力する。また、着目画素ｎ（ｉ）の符号化データの生成を終えると、第１符号化部１０３は、着目画素ｎ（ｉ）を含むＲ個の画素ｎ（ｉ−（Ｒ−１））乃至ｎ（ｉ）の画素の値を、ラン始端画素値ＸＳで置き換える。そして、第１符号化部１０３は、Ｓ６に処理を進める。

Ｓ１２にて、着目画素ｎ（ｉ）が、ラスタースキャンにおけるライン右端に達していないと判定された場合、第１符号化部１０３は処理をＳ１４に進める。Ｓ１４にて、第１符号化部１０３は、着目画素位置をラスタースキャン順に１つすすめるため、変数ｉを“１”増加させる。そして、Ｓ１５にて、第１符号化部１０３は、更新後の変数ｉに基づき、距離画像情報から着目画素ｎ（ｉ）を読み込み、かつ、許容誤差情報から許容誤差δｎ（ｉ）を読み込む。そして、第１符号化部１０３は処理をＳ９に戻す。以上説明したように本実施形態によれば、画像情報（実施形態では距離画像情報）の各画素を、各画素に対して設定した許容誤差以内となる符号化データを生成することが可能となる。

次に、実施形態における復号装置について説明する。図６に復号装置のブロック構成図を、図７に復号装置の復号処理手順のフローチャートを示す。復号装置は符号化データ分離部６０１、許容誤差情報復号部６０２、距離画像情報復号部６０３を有する。

符号化データ分離部６０１は、復号対象の符号化ストリーム（図２参照）のファイルヘッダを解析し、許容誤差情報の符号化データを許容誤差情報復号部６０２に供給し、距離画像情報の符号化データを距離画像情報復号部６０３に供給する。

許容誤差情報復号部６０２は、ＪＰＥＧ−ＬＳの可逆モードに従って許容誤差情報の符号化データの復号処理を行う。従って、この許容誤差情報復号部６０２の説明は省略する。なお、許容誤差情報復号部６０２には、全画素の許容誤差値を一時的に記憶するためのメモリが設けられている。許容誤差情報復号部６０２は、復号して得た許容誤差情報をそのメモリに格納するものとする。

距離画像情報復号部６０３は、着目画素が位置するラインと、その真上のラインの２ライン分のメモリを有し、復号した直近の２ライン分の画素値（距離）をそのメモリに保持する。また、復号処理に先立ち、距離画像情報復号部６０３は、そのメモリを所定の値で埋める処理を行う。この値は、存在しない画素値を示す値であり、実施形態では“０”である。

かかる点を踏まえ、距離画像情報復号部６０３の復号処理を、図７のフローチャートに従って説明する。距離画像情報復号部６０３は、Ｓ１にて、変数ｉに“０”にセットし、復号対象の着目画素ｎ（ｉ）を距離画像情報の左上隅の画素位置にセットする。次いで、距離画像情報復号部６０３は、Ｓ７２にて復号済み画素ａ，ｂ，ｃ，ｄと、復号済みの許容誤差情報から着目画素における許容誤差値δｎ（ｉ）を読み込む。距離画像情報復号部６０３は、Ｓ７３にて、周囲画素ａ，ｂ，ｃ，ｄを用いて、先に示した式（１）に従って３つの差分絶対値Ｅ１，Ｅ２，Ｅ３を算出する。

そして、Ｓ７４にて、距離画像情報復号部６０３は、次条件１’を満たすか否かを判定する。
［条件１’］
Ｅ１≦δｎ（ｉ） かつ
Ｅ２≦δｎ（ｉ） かつ
Ｅ３≦δｎ（ｉ）

上記条件１’が満たされない場合、距離画像情報復号部６０３はＳ７５に処理を進め、着目画素ｎ（ｉ）を、着目画素の許容誤差δｎ（ｉ）を用いて予測復号する。予測復号では、着目画素の符号化データを復号して得た値に、「２δｎ（ｉ）＋１」を乗算して予測誤差を求め、その予測誤差に、予測値ｐを加算すれば得られる。

そして、距離画像情報復号部６０３は、Ｓ７６にて、次の画素を復号するため、変数ｉを“１”増加させる。また、Ｓ７４にて、上記条件１’が満されると判定した場合、距離画像情報復号部６０３は、Ｓ７８に進み、ランレングス復号処理を行う。このランレングス復号処理では、ランを復号し、着目画素の直前（左隣）の画素ａが、ランで示される個数連続するものとして生成する。よって、ランレングス復号した後のＳ７９において、距離画像情報復号部６０３は変数ｉをランＲだけ増加させる。

そして、距離画像情報復号部６０３は、Ｓ７７にて、距離画像情報の全画素の復号を終えたか否かを判定する。否の場合、距離画像情報復号部６０３は処理をＳ７２に戻す。以上の結果、復号される距離画像情報の各画素値は、それぞれに設定した許容誤差の範囲内となる。

なお、上記実施形態では、許容誤差情報がＪＰＥＧ−ＬＳの可逆モードに従って可逆符号化されるとした。距離画像情報を符号化していくとき、たとえばラン長が「１０」であったとする。この意味するところは、復号装置では同じ画素値を持つ画素が１０個連続して生成されることを意味する。してみると、符号化装置にて、ラン長が１０であった場合、その１０個の画素の許容誤差は同じ値（例えばランの最初の画素の許容誤差値）に変更しても良い。あるいは、予測符号化の予測誤差が０になるように周囲の画素ａ，ｂ，ｃを用いてｐ＝ａ＋ｂ−ｃに変更しても良い。この結果、許容誤差情報の符号化効率を高くすることができる。また、復号装置にて、許容誤差を参照して復号するのは、その画素が予測符号化された場合である。換言すれば、ランレングス符号化のランの最初の画素以外の許容誤差は参照されることはない。よって、第２符号化部１０４は、ランの２番目以降からラン終端までの画素の許容誤差は削除した上で符号化してもよい。

なお、第１符号化部１０３がラスタースキャン順に符号化を行っていく過程で、着目画素の周囲に位置する画素ａ，ｂ，ｃ，ｄは符号化済みの値であり、真の画素値とは必ずしも一致しない。そして、周囲画素ａ，ｂ，ｃ，ｄの正確さは、それらの画素に設定された許容誤差δａ、δｂ、δｃ、δｄに依存する。従って、符号化対象画素ｎ（ｉ）の許容誤差δｎ（ｉ）に対して、参照画素の許容誤差δａ〜ｄが大き過ぎる場合には、符号化対象画素を予測するには情報量が不足していると言える。従って、予め設定した閾値をＴとしたとき、
｜δｎ（ｉ）−δｘ｜＞Ｔ （ｘは、ａ、ｂ、ｃ、ｄのいずれか）
を満たす周囲画素ｘは、非参照画素として符号化しても良い。

［第１の実施形態の変形例］
上記実施形態で説明した機能を、コンピュータプログラムにより実現する例を以下に説明する。図８は、パーソナルコンピュータなどの情報処理装置のハードウェア構成図である。本装置は、システムバス１０１０に接続された各構成要素（以下に説明）の制御するＣＰＵ１００１を有する。以下、本装置の構成を、その機能ともに説明する。

本装置の電源がＯＮになると、ＣＰＵ１００１は、ＲＯＭ１００３に記憶されたプログラムを実行し、外部記憶装置１００７（典型的にはハードディスク装置）からオペレーティングシステム（ＯＳ）をＲＡＭ１００２により見込、ＯＳを起動する。この結果、ユーザは、キーボード１００４、マウス１００５、表示装置１００６をユーザインターフェースとして利用可能となり、本装置が情報処理装置として機能する。さらに、ユーザはキーボード１００４又はマウス１００５を操作して、画像符号化アプリケーションの起動指示を与えると、ＣＰＵ１００１は外部記憶装置１００７から画像符号化アプリケーションをＲＡＭ１００２に読み込み実行する。この結果、本装置は、画像符号化装置として機能する。アプリケーションを実行した際のＣＰＵ１００１は、図１に示す各処理部に相当する処理を実行することになる。換言すれば、図１の各処理部は、ＣＰＵ１００１による関数やプロシージャとして実現されることになる。なお、距離画像情報や許容誤差情報は、外部記憶装置１００７に予め格納されているものとするが、入力源は記憶媒体ドライブ１００８、Ｉ／Ｆ１００９を介して外部装置であっても構わない。また、Ｉ／Ｆにはカメラなどの接続し、アプリケーションを実行することで、ＣＰＵ１００１が距離画像情報や許容誤差情報を生成しても構わない。また、符号化データは、外部記憶装置１００７にファイルとして格納されても良いし、Ｉ／Ｆ１００９を介して外部装置に転送しても構わない。

以上説明したように、コンピュータプログラムを実行することで、上記第１の実施形態と同様の機能を実現することが可能である。以下に説明する第２の実施形態以降では、上記第１の実施形態またはその変形例で示した符号化技術を適用した例を説明する。

［第２の実施形態］
第２の実施形態における符号化装置２１０９の主要部の構成図を図９に示す。図１０は符号化装置２１０の符号化処理手順を示すフローチャートである。なお、図９の構成と、図１０の処理との対応を明確にするため、それぞれの参照符号の下２桁を同じにした。図１１は、第２の実施形態における処理過程で参照される情報を示している。

距離画像情報入力部２１０１は、Ｓ２３０１にて、カメラから被写体までの距離を画素値とする距離画像情報２５０１を取得する。本第２の実施形態における画素値はｃｍ単位で距離情報を保持するものとする。なお、距離画像情報の各画素の表現は視差表現や、ｃｍ単位の距離を任意に量子化した量子化テーブルを参照するためのインデックスなどでも構わない。画素値がｃｍを示すとしたのは、具体例を示すことで技術内容を容易に把握するためであると理解されたい。

属性情報付与部２１０３は、Ｓ２３０３にて、入力した距離画像情報２５０１を解析し、距離画像情報の各画素に対して属性情報を付与する。属性情報は予め用意された顔や人体（ボディ）などの主要属性毎に検出器を順次利用する。そして、属性情報付与部２１０３は、各画素毎に、その画素が顔に属するのか、人体に属するのか、背景かなどの属性値を割り当てることで、属性値で構成される属性マップ２５０２を生成する。距離画像情報には色等の情報が含まれないが、距離の大小を示す情報を利用して背景、非背景の区別は勿論、輪郭から人物の顔、人体、ペットなどが比較的容易に識別できることを利用する。

撮影モード取得部２１０４は、Ｓ２３０４にて、不図示の操作部よりユーザが設定した撮影モードを特定する情報を取得する。符号化方法設定部２１０５は、Ｓ２３０５にて、撮影モードに基づき、属性情報と距離画像情報から、許容誤差マップ２５０３を生成する。この詳細は後述するが、許容誤差マップ２５０３は、画像符号化部１０７で距離画像情報を符号化する際のアルゴリズムやパラメータ等の符号化方法を属性領域毎に設定するためデータである。

画像符号化部２１０７は、Ｓ２３０７にて、第１の実施形態の第１符号化部１０３と同様に、許容誤差マップを参照して、距離画像情報のニアロスレス符号化を行う。つまり、画像符号化部２１０７は、図５のフローチャートに従って符号化処理を行えばよい。そして、符号化方法符号化部２１０８は、Ｓ２３０８にて、許容誤差マップを可逆符号化する。なお、図９では示していないが、距離画像情報の符号化データと、許容誤差マップの符号化データとを１つのファイルにするために、第１の実施形態と同様に多重化さても構わない。

ここで、第２の実施形態における符号化方法設定部２１０５が生成する許容誤差マップ２５０３は、先に説明した第１の実施形態における許容誤差情報に相当するものである。ただし、本第２の実施形態での許容誤差マップ２５０３は矩形領域単位に設定するものである。符号化方法設定部２１０５は、異なる属性の領域が重なった場合には、最も許容誤差の小さいものに合わせることで、要求される許容誤差を保証するようにした。

符号化方法符号化部２１０８は、許容誤差マップの先頭に領域の数、続いて、各領域の左上と右下の画素の位置と許容誤差が１セットになった符号列を、領域の数分並べた形式の符号化方法符号化データを生成する。生成される符号化方法符号化データのデータ構造の例は例えば図１２に示す通りである。第１の実施形態では、１つの許容誤差値は１つの画素値とみなしてＪＰＥＧ−ＬＳの可逆モードに従って符号化を行った。これに対し、第２の実施形態では、許容誤差マップはその領域を特定する情報を符号化データとするので、第１の実施形態と比較して、許容誤差を示す情報については高い符号化効率が期待できる。

次に、第２の実施形態における符号化方法設定部２１０５による許容誤差マップ２５０３の求め方について説明する。本第２の実施形態における符号化方法設定部２１０５は、デバイス依存の距離毎の測距精度情報と、アプリケーション依存の属性毎に要求される精度情報から、画素単位の許容誤差を決める。

図１３（ａ）に、距離と測距精度誤差との関係を示す。図示の如く、距離が大きくなるほど、測距精度誤差は大きくなる。図１３（ｂ）は、撮影モード毎の各属性に対する要求測距精度のテーブル（以後、属性別許容誤差参照テーブル）を示している。この属性別許容誤差参照テーブルは、不図示の記憶装置に記憶されているものである。許容誤差の決定は、アプリケーションが要求するよりも高い精度は必要ないという観点と、測距精度よりも高い精度で符号化するのは冗長であるという観点から決定する。かかる観点から、距離画像情報の距離と属性から測距精度と要求許容誤差をそれぞれ取得し、値が大きい方を許容誤差として設定する（小数点以下は切り捨てるものとする）。従って、例えば撮影モードが「通常」である場合、図１３（ａ）と図１３（ｂ）とから図１３（ｃ）のような許容誤差テーブルが生成される。図１３（ｃ）の顔、体、犬、は重要な属性を表す主要属性の名称であり、各値は許容誤差を表す。本第２の実施形態では各属性について、顔２ｃｍ、体５ｃｍ、犬８ｃｍの予め与えられた許容誤差が設定されている。図１３（ｃ）に示すように、例えば顔属性の画素は、距離が０ｍの場合の許容誤差値は０とし、距離が４ｍであれば許容誤差値として“１０”が設定されることを示している。

これらの値は、属性別許容誤差参照テーブルに予め保存されているものとする。また、主要属性に分類されない画素（背景に属する画素）には大きな許容誤差（例えば５０ｃｍ）を設定するなどして、符号量の増加を抑える。

以下、符号化方法設定部２１０５の処理を、図１４のフローチャートに従って説明する。符号化方法設定部２１０５は、Ｓ２８０１にて、属性別許容誤差参照テーブルにアクセスし、属性情報から要求許容誤差Ｅａを参照する。次に、符号化方法設定部２１０５は、Ｓ２８０２にて、距離画像情報からデバイスの測距精度Ｅｂを得る。例えば、図１３（ａ）の曲線を示す関数を予め用意しておき、距離画像情報の画素値（距離情報）をその関数の引数として用いることで測距精度Ｅｂを算出すればよい。また、予め図１３（ａ）に示すテーブルを要し、そのテーブルを利用して測距精度Ｅｂを求めても構わない。そして、符号化方法設定部２１０５は、Ｓ２８０３にて、ＥａとＥｂとを比較し、大きい方を着目画素位置の許容誤差として決定する。そして、符号化方法設定部２１０５は、Ｓ２８０４にて、距離画像情報の全画素に対する許容誤差を決定したか否かを判定し、否の場合にはＳ２８０１に処理を戻す。

上記のようにして、符号化方法設定部２１０５は、人物の顔、体、犬などの属性と、測距精度に基づき、許容誤差マップ（許容誤差情報）を生成する。この結果、属性と距離に応じて無理のない許容誤差が生成でき、距離画像の符号化効率を上げることができる。

なお、第２の実施形態における復号装置は、許容誤差マップを復号し、画素単位の画素単位の許容誤差情報を生成する処理を行う処理が追加になるだけであり、その後は第１の実施形態と同じである。よって、復号装置についての説明は省略する。

［第３の実施形態］
第３の実施形態では、上記第２の実施形態における属性情報付与部の精度を向上させる例を説明する。図１５は本第３の実施形態における符号化装置のブロック構成図である。本第３の実施形態では、上記第２の実施形態の構成（図９）に加えて、カラー画像入力部２１０２、符号化方法統合部２１０６が追加される。

属性情報付与部２１０３は第２の実施形態とは異なる処理を行うので改めて説明する。その他の構成部については第１の実施形態に等しいため、その説明は省略する。図１５の構成により、符号化処理を示すフローチャートは、図１６に示すようになる。図１０と対比するため、同じ処理には同参照符号を付した。図１７には本第３の実施形態における各処理過程で参照される情報を示している。

以下、図１５乃至図１７を参照して、本第３の実施形態における第２の実施形態と異なる点を説明する。距離画像情報入力部２１０１は、Ｓ２３０１にて、距離画像３１０１を入力する。そして、カラー画像入力部２１０２は、Ｓ２３０２にて、距離画像３１０１と同一視点位置のカラー画像（距離画像に対してテクスチャ画像と表現することもある）３１０２を取得する。属性情報付与部２１０３は、Ｓ２３０３にて、入力したカラー画像３１０２を用いて、距離画像３１０１の各画素の属性情報付与処理を行う。なお、属性情報付与は距離情報のみ、カラー画像のみ、もしくは前記カラー画像と距離情報の両方を参照して行ってもよい。属性情報はｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎの技術を用いてスーパーピクセル単位で付与する。この処理により属性マップ３１０３が生成される。なお、属性付与処理においては、人領域を抽出したい場合に肌色の領域を選択する等、色に基づいて属性を付与してもよい。

撮影モード取得部２１０４は、Ｓ２３０４にて、第２の実施形態と同様に撮影モードを取得する。そして、符号化方法設定部２１０５は、Ｓ２３０５にてその撮影モードに応じて、属性マップ３１０３と距離画像３１０１とから許容誤差マップ３１０３を生成する。

符号化方法統合部２１０６は、Ｓ２３０６にて、画素単位に設定された符号化方法を、複数の領域に統合し、各領域に対して１つの符号化方法を設定する。この結果、符号化方法統合部２１０６は、統合済み許容誤差マップ３１０５を生成する。本第３の実施形態における画像符号化部２１０７は、第１の実施形態で説明したニアロスレス符号化を行う。このため、領域毎にニアロスレス符号化のパラメータである許容誤差δを設定する。通常、ＪＰＥＧ−ＬＳでは１つの許容誤差δに従って画像全体を符号化するが、第１の実施形態のように画像内で許容誤差を可変とする場合、復号側でも符号化に利用した許容誤差マップが必要となる。このため、これを距離情報と共に送る必要がある。また、許容誤差マップには誤りは許されず、単純に可逆符号化してもマップのオーバーヘッドが大きくなり、全体として符号量が増加してしまう。そのため、画素単位で設定された許容誤差を複数の領域に統合して簡易表現を行う。

本第３の実施形態では統合済み許容誤差マップ３１０５に示すように、画素単位で設定されていた許容誤差を、ブロック単位に統合する。すると、ブロックサイズに反比例して許容誤差マップの表現に必要な要素の数は減少する。ブロックの中に複数の許容誤差が混在している場合は、最も小さい許容誤差に合わせる。なお、符号化方法統合処理は統合済み許容誤差マップ３１０６のように、各主要属性を矩形領域で囲む形で表してもよい。この場合は、第２の実施形態の許容誤差マップ符号データと同じ形式に変換すればよい。

この後、画像符号化部２１０７は、Ｓ２３０７にて、統合後の許容誤差マップ３１０５に基づき距離画像３１０１を符号化する。この画像符号化部２１０７は、第１の実施形態における第１の符号化部１０３と同じである。つまり、統合後の許容誤差マップ３１０５を、第１の実施形態における許容誤差情報として利用する。そして。符号化方法符号化部２１０８は、統合後の許容誤差マップ３１０５を可逆符号化する。

本第３の実施形態における復号装置は、第１の実施形態と実質的に同じである。異なる点は、統合済み許容誤差マップを復号した後、画素単位の許容誤差値を生成する処理が追加になるだけである。上記構成により、第２の実施形態と同様に、距離情報と属性情報の両方を用いて領域毎に適切な許容誤差を設定することで、高圧縮にニアロスレス符号化を行う符号化装置が実現できる。また、本第３の実施形態における属性付与へのカラー画像の利用や、属性の付与をｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎを用いることによって、第２の実施形態態に対して、付与できる属性の種類の増加や、属性領域の精度向上という効果も期待できる。

［第４の実施形態］
第４の実施形態では、符号化方法設定にカメラの撮影モードを反映し、ユーザの意図あるいはカメラの自動判定に従って、主要属性と非主要属性を区別し、不要な情報を破棄することで、効率的にデータ量を削減する方法を説明する。本第４の実施形態における装置構成は、第２の実施形態と同じである。それ故、異なる点について説明する。

撮影モード取得部１０４は、ユーザが指定する撮影モード情報を取得する。なお、撮影モード情報は、デバイスが自動で切り替えても良い。符号化方法設定部１０５は撮影モード情報に応じて、属性別許容誤差参照テーブルを切り替えて、許容誤差を設定する。図１３（ｂ）は各撮影モードでの属性別許容誤差を表す。

また、第２の実施形態では必ず許容誤差を設定していたが、距離情報の用途が明確に限定されている場合、必要よりも精度の低い距離情報は、その情報を保持しても使えないことがある。そこで、デバイスの測距精度が主要属性に設定された要求精度よりも低い画素に関しては、距離情報を破棄する選択肢を持たせる。また、非主要属性となる領域についても、距離情報を破棄する。例えば、手指ジェスチャ認識モードが入力された場合の属性毎の距離と許容誤差の対応関係の例を図１３（ｄ）に示す。図１３（ｄ）の精度が示されていない部分は、距離情報の破棄を表している。手指の精度を最も優先して許容誤差を設定し、２ｃｍより精度が悪くなるとその情報を破棄している。それと同時に、人の体全体のおおまかな距離情報を保持し、それ以外の情報も全て破棄している。

上記構成により、第２の実施形態と同様に、距離情報と属性情報の両方を用いて領域毎に適切な許容誤差を設定することで、高圧縮にニアロスレス符号化を行う符号化装置が実現できる。また、本第２の実施形態における撮影モードの取得によって第２の実施形態に対して、より確実にユーザが求める重要な情報を識別し、不要な情報を破棄することで、効果的に符号量を削減することができる。

［第５の実施形態］
第５の実施形態では、符号化対象を距離画像情報ではなくカラー画像とする場合の符号化方法を示す。本第５の実施形態では、第３の実施形態に対する変更する部分として、符号化方法設定部２１０５、画像符号化部２１０７を説明する。画像符号化部２１０７は、符号化方法統合部２１０６で生成された統合済みの符号化方法に従って、距離画像に加えて、カラー画像をＪＰＥＧ符号化する。ここでは、統合された領域毎にＪＰＥＧの量子化パラメータが異なる。

符号化方法設定部２１０５では第３の実施形態と同様にＪＰＥＧの量子化パラメータを領域毎に設定する。一般に、ＪＰＥＧ規格をソフトウェアとして実装する場合には、画像をＤＣＴ（離散コサイン変換）係数の量子化ステップを制御するためのパラメータを１〜１００で定義することが多く、値が大きいほど高画質となる。本実施形態においては７０を低画質、８０を中画質、９０を高画質とする。

次に、監視カメラでカラー画像を撮影してＪＰＥＧ符号化し、復号したカラー画像を使用して顔認識を行う例において、距離情報と被写体の属性情報を利用して、ＪＰＥＧの量子化パラメータを設定する方法を述べる。顔認識においては、認識精度は被写体の大きさと画質に影響される。画像には小さく写る被写体、つまり、カメラから遠くにいる被写体ほど、認識精度は下がる。また、符号化によって画質が下がるほど、認識精度は下がる。ＪＰＥＧにより劣化した画像から顔認識が安定して機能するためには、遠くにあり小さく写っている顔ほどＪＰＥＧの量子化パラメータ高画質（重要度を高くし）に設定し、近くにあり大きく写っている顔ほど低画質に設定することが望ましい。つまり、高い画質が求められる被写体ほど許容誤差を小さくする。

図１８にＪＰＥＧの量子化パラメータを設定する一例を示す。符号化方法設定部は属性マップ３２０１から顔領域かそうでないかを取得し、距離情報を利用して各顔領域の遠近を判定し、遠くの顔に対しては高画質、近くの顔に対しては中画質、顔以外の領域に対しては低画質を設定する。図１９に、ここで述べた距離と属性情報を参照したＪＰＥＧの量子化パラメータの設定方法を、表としてまとめたものを示す。上記構成により、カラー画像の符号化時に、属性と距離とを利用してカラー画像の画質を適切に設定することで、顔認識など所望のアプリケーションが要求する画質を保ちながら、高圧縮な符号化を実現する画像処理装置が実現できる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１…距離画像情報入力部、１０２…許容誤差情報入力部、１０３…第１符号化部、１−４…第２符号化部、１０５…多重化部、１０６…出力部

Claims (23)

1. 画像情報を符号化する符号化装置であって、
   符号化対象の画像情報と、当該画像情報における各画素の非可逆符号化による許容誤差を表す許容誤差情報とを入力する入力手段と、
   前記許容誤差情報を参照して、前記画像情報内の画素をラスタースキャン順に非可逆符号化する第１符号化手段と、
   前記許容誤差情報を可逆符号化する第２符号化手段とを有し、
   前記第１符号化手段は、
   前記ラスタースキャン中の着目画素の周囲に位置し既符号化の複数の画素におけるの、予め設定された個数の画素ペアの差分値それぞれが、前記着目画素に設定された許容誤差以下であるという条件を満たすか否かを判定する判定手段と、
   該判定手段が前記条件を満たさないと判定した場合に前記着目画素を予測符号化し、
   前記判定手段が前記条件を満たすと判定した場合に、ランの始端となる画素と前記着目画素との差が当該着目画素の許容誤差の範囲内にある場合にランの計数を継続し、前記許容誤差の範囲を超えた場合には計数したランを符号化する符号化手段とを含む
   ことを特徴とする符号化装置。
2. 前記画像情報は、被写体までの距離を画素値とする距離画像情報であることを特徴とする請求項１に記載の符号化装置。
3. 符号化対象の画像情報の各画素に属性を付与する属性付与手段と、
   前記画像情報の各画素の許容誤差を、当該画像情報の画素値が示す距離と前記属性付与手段で付与された属性から生成する生成手段とを更に有し、
   前記入力手段は、前記生成手段が生成した全画素の許容誤差を、前記許容誤差情報として入力する
   ことを特徴とする請求項２に記載の符号化装置。
4. 前記属性付与手段は、前記符号化対象の画像と同一視点からのカラー画像に基づいて各画素の属性を付与することを特徴とする請求項３に記載の符号化装置。
5. 前記生成手段は、被写体の属性の種類ごとの許容誤差を示す属性別の許容誤差情報と、被写体までの距離と当該距離に応じた精度との関係を示す測距精度情報を記憶する記憶手段とを有することを特徴とする請求項３または４に記載の符号化装置。
6. 前記生成手段は、着目画素について前記属性別の許容誤差情報を参照して得られる許容誤差と、前記着目画素について前記測距精度情報を参照して得られる許容誤差とを比較し、大きい許容誤差を前記着目画素に対する許容誤差として決定する
   ことを特徴とする請求項５に記載の符号化装置。
7. 前記第２符号化手段は、ＪＰＥＧ−ＬＳの可逆モードに基づいて前記許容誤差情報を符号化することを特徴とする請求項１乃至６のいずれか１項に記載の符号化装置。
8. 前記第２符号化手段は、前記画像情報における同じ許容誤差を示す領域を特定する情報と、当該領域内の許容誤差を表す情報の組を生成することを特徴とする請求項１乃至６のいずれか１項に記載の符号化装置。
9. 画像情報を符号化する符号化装置であって、
   被写体までの距離を示す値を画素値とする距離画像情報を、前記画像情報として入力する入力手段と、
   入力した距離画像情報の各画素に対して被写体の属性情報を付与する属性付与手段と、
   前記属性情報と前記距離画像情報に基づき、該当する画素の符号化方法を設定する符号化方法設定手段と、
   該設定手段で設定した符号化方法に従って、前記距離画像情報の各画素を符号化する符号化手段と
   を有ることを特徴とする符号化装置。
10. 前記属性付与手段は、前記距離画像情報を解析して当該距離画像情報内の各画素に対して被写体の属性情報を付与することを特徴とする請求項９に記載の符号化装置。
11. 前記距離画像情報に対応するカラー画像を入力するカラー画像入力手段を更に備え、
    前記属性付与手段は、前記カラー画像を解析して当該距離画像情報内の各画素に対して被写体の属性情報を付与することを特徴とする請求項９に記載の符号化装置。
12. 前記符号化手段は、前記距離画像情報と前記カラー画像のうち少なくとも一方を符号化することを特徴とする請求項１１に記載の符号化装置。
13. 前記符号化方法設定手段は、特定の属性情報が付与された領域に対して、遠くを表す距離情報を持つ領域ほど小さい許容誤差を設定することを特徴とする請求項９乃至１２のいずれか１項に記載の符号化装置。
14. 前記符号化方法設定手段は、属性の重要度が予め設定され、重要度の高い領域ほど許容誤差を小さい設定することを特徴とする請求項９乃至１２のいずれか１項に記載の符号化装置。
15. 前記符号化方法設定手段は、前記距離画像情報に対応するデバイスの測距精度に応じて、符号化方法を設定することを特徴とする請求項９乃至１２のいずれか１項に記載の符号化装置。
16. カメラの撮影モードを取得する撮影モード取得手段を更に有し、
    前記符号化方法設定手段は、前記撮影モードに応じて属性毎の符号化方法を切り替えることを特徴とする請求項９乃至１２のいずれか１項に記載の符号化装置。
17. 前記符号化手段は、圧縮による距離情報の誤差が指定した許容誤差以内であること保証するニアロスレス符号化であり、符号化方法設定手段では前記許容誤差を設定することを特徴とする請求項９乃至１２のいずれか１項に記載の符号化装置。
18. 各画素で設定される許容誤差を所定の領域にまとめて、その領域内で最も小さい許容誤差を当該領域の許容誤差として統合する統合手段を更に有することを特徴とする９乃至１２のいずれか１項に記載の符号化装置。
19. 前記符号化手段は、着目画素を符号化を行う際に、当該着目画素の周囲に位置し既符号化の複数の周囲画素のうち、前記着目画素の許容誤差との差が予め設定された閾値を超える許容誤差を持つ周囲画素を、符号化する際に非参照とする
    ことを特徴とする請求項９乃至１２のいずれか１項に記載の符号化装置。
20. 画像情報を符号化する符号化装置の制御方法であって、
    入力手段が、符号化対象の画像情報と、当該画像情報における各画素の非可逆符号化による許容誤差を表す許容誤差情報とを入力する入力工程と、
    第１符号化手段が、前記許容誤差情報を参照して、前記画像情報内の画素をラスタースキャン順に非可逆符号化する第１符号化工程と、
    第２符号化手段が、前記許容誤差情報を可逆符号化する第２符号化工程とを有し、
    前記第１符号化工程は、
    前記ラスタースキャン中の着目画素の周囲に位置し既符号化の複数の画素におけるの、予め設定された個数の画素ペアの差分値それぞれが、前記着目画素に設定された許容誤差以下であるという条件を満たすか否かを判定する判定工程と、
    該判定工程が前記条件を満たさないと判定した場合に前記着目画素を予測符号化し、
    前記判定工程が前記条件を満たすと判定した場合に、ランの始端となる画素と前記着目画素との差が前記着目画素の許容誤差の範囲内にある場合にランの計数を継続し、前記許容誤差の範囲を超えた場合には計数したランを符号化する符号化工程とを含む
    ことを特徴とする符号化装置の制御方法。
21. 画像情報を符号化する符号化装置の制御方法であって、
    入力手段が、被写体までの距離を示す値を画素値とする距離画像情報を、前記画像情報として入力する入力工程と、
    属性付与手段が、入力した距離画像情報の各画素に対して被写体の属性情報を付与する属性付与工程と、
    符号化方法設定手段が、前記属性情報と前記距離画像情報に基づき、該当する画素の符号化方法を設定する符号化方法設定工程と、
    符号化手段が、該設定工程で設定した符号化方法に従って、前記距離画像情報の各画素を符号化する符号化工程と
    を有ることを特徴とする符号化装置の制御方法。
22. コンピュータが読み込み実行することで、前記コンピュータを、請求項１乃至１９のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラム。
23. 請求項２２に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images