JP2022127884A - 演算装置、圧縮方法 - Google Patents

Abstract

【課題】ニューラルネットワークを用いる演算の演算負荷を下げることができる。【解決手段】演算装置は、予測器とエンコーダとデコーダとを有し、確率密度分布を用いてデータのエンコード及びデコードを行い、学習処理と圧縮処理とのうち少なくとも圧縮処理を実行可能であり、学習処理にて作成した、ニューラルネットワークを用いて学習をすることで、母数とシンボル値の確率分布とを対応させた確率分布表を利用可能であり、圧縮処理では、予測器が、入力データから母数を算出し、エンコーダが、算出された母数と、確率分布表と、に基づくシンボル値の確率分布を用いて、入力データを圧縮する。【選択図】図２

Description

本発明は、演算装置、および圧縮方法に関する。

ニューラルネットワークを利用して演算を効率化する技術が、たとえば非特許文献１に示すように知られている。これらのように、ニューラルネットワークにて構築される学習型の圧縮および伸張器（以下、「学習型圧縮器」と呼ぶ）は、JPEG等の圧縮技術と比較して、同一データ量にて高画質または少ないデータ量にて同等の画質に変換可能なことが知られている。

Johannes Balle、外２名、"End-to-endOptimized Image Compression"、［online］、２０１７年３月３日、arXiv、［２０２０年８月４日検索］、インターネット、＜ＵＲＬ：https://arxiv.org/abs/1611.01704＞

前述の学習型圧縮器は、データ圧縮処理に適したパラメータを学習を通じて獲得する。このニューラルネットワークの学習法として誤差逆伝搬法が知られており、この誤差逆伝搬法においては、学習対象の処理を微分可能な関数にて記述する必要がある。より具体的には圧縮処理において、画像をデータ削減可能な特徴量マップという多次元のテンソル形式に変換したのち、その特徴量マップの要素値（以下、「シンボル値」と呼ぶ）の出現確率を予測する処理がある。シンボル値は、たとえば特定の範囲の整数値（例：-100～+100）のみをとるものとし、特徴量マップのすべての位置毎に、シンボル値がとりうる各整数値の出現確率を予測値として出力する。予測した出現確率のうち、実際のシンボル値の確率が十分に高ければレンジコーダ等のエントロピー符号化によりデータ量を削減する符号化が可能となる。

この確率予測の具体的な方法として、学習型圧縮器では、ニューラルネットワークで構築した予測器を用いる。より具体的には、この予測器が微分可能な確率密度関数の複数の母数（たとえば、ガウス分布における平均と標準偏差）を出力し、特徴量マップの位置毎に個別の確率密度関数を作成してシンボルの値域の各整数値の出現確率を算出する。この構成において確率密度関数が微分可能であるため、符号化対象のシンボル値の確率が最大となる母数を生成するように予測器を誤差逆伝搬法にて学習することが可能となる。

上記学習にて、予測器と確率密度関数を組み合わせた処理は、シンボル値の出現確率の予測が可能だが、ガウス分布等の確率密度関数は指数関数等を用いた計算負荷の高い処理であり、計算に多くの時間や計算資源を必要とする。このため、圧縮処理時間が増大、または圧縮処理を行う処理資源、たとえば中央演算装置やＧＰＵ（Graphic Processing Unit）をより高価なものとする必要が生じる。このようにニューラルネットワークを用いる演算では、演算負荷が大きいことが問題となっている。

本発明の第１の態様による演算装置は、予測器とエンコーダとデコーダとを有し、確率密度分布を用いてデータのエンコード及びデコードを行う演算装置において、学習処理と圧縮処理とのうち少なくとも圧縮処理を実行可能であり、前記学習処理にて作成した、ニューラルネットワークを用いて学習をすることで、母数とシンボル値の確率分布とを対応させた確率分布表を利用可能であり、前記圧縮処理では、前記予測器が、入力データから母数を算出し、前記エンコーダが、前記算出された母数と、前記確率分布表と、に基づくシンボル値の確率分布を用いて、前記入力データを圧縮する。
本発明の第２の態様による圧縮方法は、予測器とエンコーダとデコーダとを有し、確率密度分布を用いてデータのエンコード及びデコードを行う演算装置が実行する圧縮方法であって、前記演算装置は、学習処理と圧縮処理とのうち少なくとも圧縮処理を実行可能であり、前記学習処理にて作成した、ニューラルネットワークを用いて学習をすることで、母数とシンボル値の確率分布とを対応させた確率分布表を利用可能であり、前記圧縮処理には、前記予測器が、入力データから母数を算出することと、前記エンコーダが、前記算出された母数と、前記確率分布表と、に基づくシンボル値の確率分布を用いて、前記入力データを圧縮することとを含む。

本発明によれば、ニューラルネットワークを用いる演算の演算負荷を下げることができる。

センサシステムの構成図 第１の実施の形態における演算装置の機能構成図 設定表の一例を示す図 インデックス対応表の一例を示す図 分布表の一例を示す図 圧縮処理を示すフロー図 圧縮ファイルの一例を示す図 伸張処理を示すフロー図 ユーザインタフェース画面の一例を示す図 変形例９における演算装置の機能構成図 第２の実施の形態における演算装置の機能構成図 第２の実施の形態におけるインデックス決定処理を示すフローチャート

―第１の実施の形態―
以下、図１～図９を参照して、本発明に係る演算装置の第１の実施の形態を説明する。

図１は、演算装置を含むセンサシステムの構成図である。センサシステムは、複数のセンサ１２０と、複数のセンササーバ１０２と、クライアント端末１０３と、複数の演算装置１００とを含む。それぞれのセンササーバ１０２には１または複数のセンサ１２０が接続される。センサ１２０には、第１センサ１２０－１と、第２センサ１２０－２と、第３センサ１２０－３と、第４センサ１２０－４と、第５センサ１２０－５と、が含まれる。

それぞれのセンサ１２０はたとえば、カメラ、ビデオカメラ、レーザ距離計、速度計、温度計、電圧計、などである。センササーバ１０２には、第１センササーバ１０２－１と、第２センササーバ１０２－２とが含まれる。それぞれのセンササーバ１０２は、センサ１２０との接続インタフェースおよびネットワーク１０１との接続インタフェースとを有する。それぞれのインタフェースは通信が可能であればよく、有線接続か無線接続かを問わない。

ネットワーク１０１は、インターネットなどの広域ネットワークでもよいし、ローカルエリアネットワークであってもよい。センサシステムに含まれるセンサ１２０が複数であることは必須の構成ではなく、センサシステムにセンサ１２０が１つのみ含まれてもよい。センサシステムに含まれるセンササーバ１０２が複数であることは必須の構成ではなく、センサシステムにセンササーバ１０２が１つのみ含まれてもよい。それぞれのセンサ１２０は、センササーバ１０２を介さずに直接にネットワーク１０１に接続されてもよい。図１ではセンサシステムに演算装置１００が３つ含まれるが、センサシステムには少なくとも１つの演算装置１００が含まれればよい。

演算装置１００は、一次記憶領域であるＤＲＡＭ１１１、ソフトウェアに従って様々な処理を実施するプロセッサ１１２、記憶媒体１１４に接続するバックエンドインタフェース１１３、二次記憶領域である記憶媒体１１４、およびネットワーク１０１に接続する通信インタフェース１１６を含む。ＤＲＡＭ１１１は、プロセッサ１１２から短時間でアクセス可能な接続にてプロセッサ１１２と接続される。ＤＲＡＭ１１１には、プロセッサ１１２が処理するプログラムや処理対象データが格納される。

プロセッサ１１２は、プログラムに従って動作し、対象データを処理する。プロセッサ１１２は、内部に複数のプロセッサコアを有し、それぞれプロセッサコアは独立してまたは協調してプログラムを処理する。プロセッサ１１２は、内部にＤＲＡＭコントローラを有し、プロセッサからのリクエストに応じてＤＲＡＭ１１２よりデータを取得、またはＤＲＡＭ２１２にデータを格納する。プロセッサ１１２は、外部ＩＯインタフェースを有し、バックエンドインタフェース１１３に接続する。プロセッサ１１２は、バックエンドインタフェース１１３を経由して二次記憶装置である記憶媒体１１４に指示を通知する。プロセッサ１１２は、センサデータの圧縮および伸張に関連する後述の各種処理を行う。

プロセッサ１１２では、データ圧縮および伸張の処理だけでなく、ＳＤＳ（Software
Defined Storage）やデータベース等のストレージ関連のソフトウェアを動作させる。これによりプロセッサ１１２は、受領したセンサデータを圧縮後、複数の演算装置１００により構成されるノード群に圧縮データを分散して格納する。このとき、プロセッサ１１２は、ＳＤＳやデータベースの制御にしたがって、記憶媒体１１４にデータを記録する。

バックエンドインタフェース１１３は、ＳＡＴＡ（Serial ATA）やＳＡＳ（Serial Attached SCSI）などの通信規格に対応する通信インタフェースである。バックエンドインタフェース１１３は、書き込み時には、プロセッサ１１２からの指示に基づき、書き込み対象データをＤＲＡＭ１１１より取得し記憶媒体１１４に転送する。またバックエンドインタフェース１１３は、読み込み時には、プロセッサ１１２からの指示に基づき、読み込み対象データを記憶媒体１１４から取得してＤＲＡＭ１１１に転送する。

なお、本実施の形態では、バックエンドインタフェース１１３と記憶媒体１１４とが独立しているが、バックエンドインタフェース１１３と記憶媒体１１４とが一体化されてもよい。さらに演算装置１００がバックエンドインタフェース１１３を備えず、記憶媒体１１４中にプロセッサ１１２と直接通信するインタフェース、たとえばＮＶＭｅ（Non-Volatile Memory Host Controller Interface）が搭載されてもよい。

記憶媒体１１４は、解析対象データを格納する二次記憶装置である。本実施の形態では、記憶媒体１１４はプロセッサ１１２にて制御されたバックエンドインタフェース１１３から送信された書き込み対象データを受領し、永続的に格納する。通信インタフェース１１６は、他の演算装置１００、センササーバ１０２、およびクライアント端末１０３と通信するためのインタフェースである。図１の例では、演算装置１００はネットワーク１０１を介して他の装置と接続されるが、ネットワーク１０１を介さずに直接に他の装置に接続されてもよい。

センササーバ１０２は、複数のセンサ１２０を管理し、それぞれのセンサ１２０が取得したデータ（以下、「センサデータ」と呼ぶ）をネットワーク１０１を介して演算装置１００に転送する。センサデータをセンササーバ１０２から受領した演算装置１００は、後述する圧縮処理によって、センサデータを圧縮して記憶媒体１１４に格納する。

クライアント端末１０３は、ユーザが演算装置１００に蓄えたセンサデータを利用する際に用いる端末であり、演算装置１００にセンサデータを要求する。クライアント端末１０３から要求を受けた演算装置１００は、後述の伸張処理によってセンサデータを伸長してクライアント端末１０３に転送する。

（機能構成）
図２は、演算装置１００の機能構成図である。演算装置１００は、その機能として、エンコーダ２０１と、エントロピー符号化部２０２と、予測器２０３と、インデックス生成部２１１と、分布表生成部２１２と、インデックス特定部２２１と、確率特定部２２２と、圧縮ファイル生成部２３０と、デコーダ３０１と、エントロピー復号化部３０２とを備える。また演算装置１００の記憶媒体１１４には、センサデータＳと、特徴量マップＦと、インデックス対応表５００と、分布表６００と、設定表６５０と、圧縮ファイル７００とを格納できる。ただし記憶媒体１１４に格納される上述したデータは、全てが同時に記憶媒体１１４に格納される必要はない。なお以下では、インデックス生成部２１１とインデックス特定部２２１とをあわせて、「インデックス生成部」２４０と呼ぶこともある。また分布表生成部２１２は、「対応情報生成部」と呼ぶこともある。

センサデータＳは、センサ１２０が取得したデータであり、演算装置１００がセンササーバ１０２を介して取得する。センサデータＳに対して圧縮処理を施して得られるのが圧縮ファイル７００であり、圧縮ファイル７００に対して伸張処理を施して得られるのがセンサデータＳである。インデックス対応表５００は、インデックス生成部２１１により作成される。インデックス生成部２１１は、インデックス対応表５００の作成において設定表６５０を参照する。インデックス対応表５００は、インデックスの値と、予測器２０３が出力する母数との対応を示すテーブルである。インデックス対応表５００に格納される情報の詳細は後述する。特徴量マップＦは、エンコーダ２０１により変換されたセンサデータＳである。以下では、特徴量マップＦの要素を「シンボル」と呼ぶ。

分布表６００は、分布表生成部２１２により作成される。分布表生成部２１２は、分布表６００の作成において設定表６５０を参照する。分布表６００は、インデックスの値と累積度数との対応を示すテーブルである。設定表６５０には、あらかじめ定められた累積度数および特徴量抽出に関するパラメータ、換言するとインデックスを決定する際に参照される後述する所定範囲を定義する情報が格納される。ただし後述するようにユーザの操作により設定表６５０に格納されるパラメータの値が更新されてもよい。

演算装置１００が備える各構成の動作概要は次のとおりである。エンコーダ２０１は、センサデータＳを読み込み、特徴量マップＦを出力する。予測器２０３は、特徴量マップＦを読み込んで、２つの母数、すなわち母数Ａと母数Ｂを出力する。母数Ａと母数Ｂについては後に詳述する。インデックス特定部２２１は、インデックス対応表５００を参照し、予測器２０３が出力する２つの母数の組合せに対応するインデックスを特定する。確率特定部２２２は、分布表６００を参照し、インデックス特定部２２１が出力するインデックスの値に対応する累積度数をエントロピー符号化部２０２に出力する。

エントロピー符号化部２０２は、特徴量マップＦを読み込んで、圧縮ファイル７００の一部を作成する。この際にエントロピー符号化部２０２は、確率特定部２２２が出力する累積度数を参照することで特徴量マップＦの効率的な圧縮を実現する。そのためエントロピー符号化部２０２は、「圧縮部」と呼ぶこともできる。圧縮ファイル７００の別の一部分は、圧縮ファイル生成部２３０により生成される。

エントロピー符号化部２０２では、後述の分布表６００の値を用いてデータ効率的に符号化する。分布表６００は、－１００～１００の各シンボル値毎の累積度数が記載されており、シンボル値の種類数は２０１であるから、各シンボル値の発生確率が均一である場合１／２０１の確率である。ここで、符号化対象シンボルの値の、予測器の結果より得られる分布表の確率が１／２０１より大きい場合、例えば１／１０の確率とされた場合（図５の分布表の例において、表における前のシンボル値の累積度数に対して約６５５４個の累積度数の増加がある場合）、より小さなデータ量に符号化して記録することが可能となる。この場合、復号化する際に、符号化に用いた累積度数と同一の値を用いないと、正しく復号化できない。

インデックス生成部２１１は、設定表６５０を参照してインデックス対応表５００を生成する。分布表生成部２１２は、設定表６５０を参照して分布表６００を生成する。なおインデックス生成部２１１および分布表生成部２１２は、設定表６５０の代わりに圧縮ファイル７００に含まれる設定表６５０に相当する情報を参照して動作する場合もある。デコーダ３０１は、特徴量マップＦを読み込んでセンサデータＳを出力する。エントロピー復号化部３０２は、特徴量マップＦおよび確率特定部２２２が出力する累積度数を用いて圧縮ファイル７００を作成する。

（設定表）
図３は、設定表６５０の一例を示す図である。設定表６５０には、母数Ａの粒度、母数Ａの最小値、母数Ａの最大値、母数Ｂの粒度、母数Ｂの最小値、母数Ｂの最大値、シンボルの最小値、およびシンボルの最大値が含まれる。これらの値は実数であればよく、値の制限はない。

設定表６５０に格納される情報のうち、母数Ａの粒度、母数Ａの最小値、母数Ａの最大値、母数Ｂの粒度、母数Ｂの最小値、および母数Ｂの最大値は、インデックス生成部２１１が読み込んで動作に反映する。そのため、母数Ａの粒度、母数Ａの最小値、母数Ａの最大値、母数Ｂの粒度、母数Ｂの最小値、および母数Ｂの最大値は、インデックス生成部２１１の動作パラメータを特定する「インデックスパラメータ情報」と呼ぶこともできる。

分布表生成部２１２は、設定表６５０に格納されるすべての情報を読み込んで動作に反映するので、分布表生成部２１２が生成する分布表６００は、設定表６５０の情報が反映されているとも言える。そのため、母数Ａの粒度、母数Ａの最小値、母数Ａの最大値、母数Ｂの粒度、母数Ｂの最小値、母数Ｂの最大値、シンボルの最小値、およびシンボルの最大値は、分布表６００を特定する「確率特定情報」と呼ぶこともできる。

（インデックス対応表）
従来技術では、予測器が出力する実数の母数Ａと母数Ｂを用い確率密度分布の各確率を演算により作成し、それをもとに累積度数を作成する。しかし、本実施例では母数Ａと母数Ｂより整数インデックスを作成し、整数インデックスを用いて、すでに作成した累積度数の値を取得する。母数Ａと母数Ｂより整数インデックスを作成する方法は、演算でもよいが、本実施例では、図４に示すインデックス対応表５００より取得する。

図４は、インデックス対応表５００の一例を示す図であり、図３に示す設定表６５０の値に対応する。なお図４における符号５０１～符号５０９は以下の説明で参照する。図４に示す例では、母数Ａが「－５０．０」で母数Ｂが「０．２」の場合は、インデックスの値は「１」であることが示されている。インデックス生成部２１１は、予測器２０３の出力である母数Ａと母数Ｂに対応するインデックスの一覧であるインデックス対応表５００をたとえば次のように作成する。

インデックス生成部２１１は、まず母数Ａの最小値である「－５０」と母数Ｂの最小値である「０．１」の組合せを最初のインデックス、すなわちインデックス値「０」に対応させる。そしてインデックス生成部２１１は、母数Ａは最小値に固定したまま母数Ｂを母数Ｂの粒度である「０．１」ずつ、母数Ｂの最大値である「１００．０」まで増加させる。このときインデックス生成部２１１は、変化させる母数Ｂと母数Ａの最小値との組合せごとに「１」ずつ増加させたインデックス値を設定する。母数Ｂの最大値である「１００．０」まで増加させるとインデックスの値は「９９９」まで増加し、図４の符号５０１の範囲が完成する。

次にインデックス生成部２１１は、母数Ａの値を最小値「－５０．０」から母数Ａの粒度の値「０．１」だけ増加させて「－４９．９」に更新する。そしてインデックス生成部２１１は母数Ｂを最小値「０．１」に戻し、この組み合わせを次のインデックス値「１０００」に対応させる。そしてインデックス生成部２１１は、符号５０１の範囲と同様に母数Ａの値は固定したまま母数Ｂを母数Ｂの粒度である「０．１」ずつ、母数Ｂの最大値である「１００．０」まで増加させ、インデックス値を「１９９９」まで増加させる。この処理により図４の符号５０２の範囲が完成する。

インデックス生成部２１１は、以降は同様に母数Ａの値を母数Ａの粒度である「０．１」ずつ増加させて、符号５０１の範囲や符号５０２の範囲と同様の処理を繰り返す。そしてインデックス生成部２１１は、母数Ａの値を母数Ａの最大値である「５０．０」まで増加させて、母数Ｂの値も最大値である「１００．０」まで増加させると、最後のインデックス値「１０００９９９」と対応させて符号５０９の範囲を完成させる。以上の処理によりインデックス対応表５００が完成する。

（分布表）
前述の通り従来技術では、エントロピー符号化部２０２が用いる累積度数を、実数である母数Ａ、母数Ｂを用いて演算により算出してきた。しかし、本実施例では、インデックスを用いて参照可能な累積度数の表（分布表）をあらかじめ作成しておき、演算せずに累積度数を取得する。このことにより、実数である母数Ａ、母数Ｂを用いて演算により累積度数を作成した場合より、圧縮率は低下（前述の母数Ａや母数Ｂが十分に小さければ無視可能なレベルの低下）するが、高負荷な確率密度関数の演算処理なしに圧縮が可能となる。

図５は、分布表６００の一例を示す図であり、図３に示す設定表６５０の値に対応する。図５は、左端の列に示すように上から下に向かってインデックスの値が単調増加する。インデックスの最大値は、図３に示す設定表６５０の値に同じく対応する図４のインデックス対応表５００と同一の「１０００９９９」である。図５の上部に記載する「－１００」～「１００」はシンボル値であり最小値と最大値は設定表６５０の記載に対応する。

分布表生成部２１２は、設定表６５０を参照して、母数Ａの粒度、最小値、最大値、および母数Ｂの粒度、最小値、最大値を取得し、２つの母数のすべての組み合わせについて、確率密度関数を用いて計算を行い、確率値の累積度数を算出する。この算出において、設定表６５０に含まれる度数の解像度を確率値に掛け合わせる。図５に示す例では解像度は６５５３５であり、シンボルの値域における最大値である１００の累積度数は６５５３５となる。

分布表６００は、インデックスごとに、全てのシンボルの値に対応する累積度数の値を格納したテーブルである。分布表６００は、設定表６５０を参照して分布表生成部２１２により生成される。なお演算装置１００が分布表生成部２１２を有することは必須の構成ではなく、分布表６００が演算装置１００以外であらかじめ作成されてもよい。また、設定表６５０に設定される様々な値を想定して演算装置１００の外部であらかじめ複数の分布表６００を作成しておき、設定表６５０の値に応じて適切な分布表６００を読み込んでもよい。

（圧縮処理）
図６は、演算装置１００による圧縮処理を示すフロー図である。以下では主にセンサデータＳを静止画像として圧縮処理を説明する。ただし演算装置１００が処理可能なセンサデータＳは静止画像に限定されない。圧縮処理が開始される前に、インデックス対応表５００および分布表６００が予め作成される。圧縮処理は、センサデータＳをエンコーダ２０１に入力することで開始される。

エンコーダ２０１は、センサデータＳを特徴量マップＦに変換する。エンコーダ２０１は、入力されるセンサデータＳの特徴を残しながら、重要度が低いと考えられる情報を削減する。たとえば入力されたデータが画像の場合には、人が知覚しにくい情報、たとえば細かな色の変化などを削除しデータ量を削減する。なおエンコーダ２０１は、特徴量マップＦの次元数をセンサデータＳと異ならせてもよい。たとえばエンコーダ２０１は、３次元テンソルのサイズ「３，５１２，５１２」であるセンサデータＳを、３次元テンソルのサイズ「２５６，６４，６４」の特徴量マップＦに変換する。

学習型圧縮器の多くは、エンコーダおよびデコーダにニューラルネットワークを利用することで、後述の予測処理を含めた圧縮処理のほぼ全てを学習可能とする。学習型圧縮機による圧縮処理は、非学習型である明示的に設計された処理よりも、人が知覚可能な画質に影響を与えずにデータ量を削減可能なことが知られている。本実施の形態では、エンコーダ２０１はニューラルネットワークにて構築されているが、これは必須の構成ではない。すなわちエンコーダ２０１は、ＪＰＥＧ等に用いられているＤＣＴ変換やデータの間引き等の明示的に設計された処理であってもよい。

特徴量マップＦは、エンコーダ２０１により生成される。特徴量マップＦは一般に入力データであるセンサデータＳと同一次元数のテンソルである。たとえばカラー画像は「色、縦、横」の３次元のテンソルであり、センサデータＳがカラー画像の場合は特徴量マップＦも３次元のテンソルとなる。特徴量マップＦの各次元の大きさは、センサデータＳとは異なる場合が多い。たとえば、縦と横がそれぞれ５１２ピクセルのカラー画像のテンソルは「３，５１２，５１２」であるが、特徴量マップＦは「２５６，６４，６４」のように変換される場合がありうる。なお、特徴量マップＦの次元や形状は特に限定されず、センサデータＳがいかなる形状に変換されてもよい。

特徴量マップＦは、元画像より要素数が少ない場合も大きい場合もまたは同一の場合もありうる。たとえばエンコーダ２０１が、３次元テンソルのサイズ「３，５１２，５１２」であるセンサデータＳを３次元テンソルのサイズ「２５６，６４，６４」の特徴量マップＦに変換する場合は、要素数は３＊５１２＊５１２＝７８６４３２から２５６＊６４＊６４＝１０４８５７６個と増加する。

また、エンコーダ２０１が出力する特徴量マップＦの各要素の値は整数形式であり、以降この要素の一つをシンボルと記す。エンコーダ２０１は、シンボルの値域を制限としており、以降の説明では簡略化のためにユーザが値域－１００～１００の２０１種類の整数に限定したことを前提に説明する。シンボルの値域の制限により、－１０１以下の値は－１００に置き換えられ、１０１以上の値は１００に置き換えられる。なお、本実施例において、この値域は、後述するユーザインタフェースによりユーザが変更可能でもよい。

エントロピー符号化部２０２は、特徴量マップＦのデータ量を削減するためにエントロピー符号化を行う。様々なエントロピー符号化技術が知られているが、本実施の形態ではレンジコーダを用いる。レンジコーダは、シンボルの各値の発生確率の偏りを用いてデータ量を削減する符号化である。２０１種類の整数の出現確率が均等であるとき、各値は１．０÷２０１＝０．４９５％で発生する。しかし、出現確率に偏りがあり、符号化対象のシンボルの値の出現確率が０．４９５％以上であれば、少ないデータ量に符号化できる。

レンジコーダは出現確率そのものではなく、累積度数表を用いて符号化を行う。シンボルの値域が－２～２の５つの値をとる場合を例に累積度数を説明する。この「－２」、「－１」，「０」，「１」，「２」の各値の出現確率が「１％，９％，２０％，５０％，２０％」であるとき、度数の合計値を１００に置き換えると度数分布は「１，９，２０，５０，２０」となる。これをシンボルの値である「－２」から「２」まで順に累積度数とすると「１，１０，３０，８０，１００」となる。レンジコーダはこの累積度数表を用いてデータの符号化を行う。

前述のとおりレンジコーダは、値の出現確率、厳密にはこの出現確率より作成される累積度数表により符号化後のデータ量が変化する。このため、圧縮処理において、出現確率の予測能力は、データ量削減能力の重要な要素である。演算装置１００は、この出現確率をニューラルネットワークにより構成される予測器２０３を用いて予測する。

予測器２０３は、特徴量マップＦを入力とするニューラルネットワークを含んで構成され、公知の学習処理により特徴量マップＦ内の各シンボル位置に個別の出現確率を予測するための能力を獲得する。

この学習処理をより具体的に説明する。予測器２０３は、入力として特徴量マップＦを構成する各シンボルが与えられると、各シンボルに応じた確率密度分布の母数を出力する。（一つのシンボルごとに母数を出力し、シンボル毎に固有の確率密度分布を作成する）この母数は本実施例においては、ガウス分布の母数である平均と標準偏差である。このとき、平均と標準偏差より作成されたガウス分布におけるシンボル値の確率が計算可能となる。学習は、この確率がなるべく大きくなるような平均と標準偏差となるように予測器を構成するニューラルネットワークの結合係数を変更する。この変更は、ガウス分布の計算が微分可能であることから、一般的な誤差逆伝搬法にて学習可能である。例えば、シンボル値として３という値が予測器に入力されたとき、平均１．２、標準偏差２．５等の値が出力された場合、学習により、予測器の出力である平均をより３．０に近づけ、標準偏差を０．０に近い値となるようにニューラルネットワークが修正される可能性がある。

しかし、平均を３に近づけ、標準偏差を０に近づけることが当該シンボルの確率を増加できても、予測器に入力される他のシンボルの確率が低下し、シンボル群全体の平均確率が小さくなってしまうなら、学習により平均値が１．２よりさらに３から離れたり、標準偏差が２．５より大きくなる場合もあり、この場合は予測器の出力より作成されるガウス分布における３の確率が学習前よりも低下する可能性もある。このように学習においては、予測器に入力される特徴量マップＦのシンボル群を入力し、そのシンボル群のシンボル数と同数のガウス分布における、各シンボルの確率の平均値が最大となるように予測器を構成するニューラルネットワークを修正する。

本実施の形態における予測器２０３はあらかじめ学習が完了している。学習処理は、本装置で行ってもよいし、他の装置で学習を行って本装置では学習結果であるインデックス対応表５００や分布表６００を利用可能にすることでもよい。予測器２０３は、学習のために微分可能な確率密度関数の母数を１以上出力するように構成される。本実施の形態では予測器２０３は、確率密度関数であるガウス分布の２つのパラメータ、すなわち平均と標準偏差とを２つの母数として出力する。

予測器２０３は、特徴量マップＦのシンボル毎に２つの母数を出力する。たとえばレンジコーダによる符号化対象の特徴量マップＦのシンボル数が２５６＊６４＊６４＝１０４８５７６個であるとき、予測器２０３は、１０４８５７６＊２＝２０９７１５２個の値を出力する。学習時は、２０９７１５２個の出力からそれぞれ２つの母数を用いた２０９７１５２÷２＝１０４８５７６個の個別のガウス分布が構成される。そして、符号化対象シンボルの各値の確率が最大化、より厳密には全シンボルの平均値が最大化されるように、予測器２０３を構成するニューラルネットワークの結合係数の値が繰り返し修正される。一方、圧縮時には、２０９７１５２個の出力から、２０９７１５２÷２＝１０４８５７６個のインデックスが作成される。

インデックス特定部２２１は、インデックス対応表５００を参照し、予測器２０３の出力である２つの母数の組合せに対応するインデックスの値を特定する。ただし予測器２０３は２つの母数を不動小数点形式にて出力するので、母数をそのまま用いると組合せの数が膨大になる。そのためインデックス特定部２２１は、それぞれの母数を所定の数値範囲に区分けし、該当する数値範囲の代表値を算出する。この代表値の範囲が設定表６５０に最小値と最大値として記載されており、それぞれの所定範囲の広さが粒度として記載されている。図３に示す設定表６５０の例では、母数Ａにおける所定の数値範囲はたとえば、－５０を中心とする幅０．１の範囲、－４９．９を中心とする幅０．１の範囲、－４９．８を中心とする幅０．１の範囲、・・・、５０．０を中心とする幅０．１の範囲、である。

ただし所定の数値範囲は、代表値を中心値とすることは必須ではなく、あらかじめ定めた規則に基づいて決定されればよく、中心値の代わりに最大値や最小値としてもよい。たとえば最小値とする場合には、母数Ａにおける所定の数値範囲が、－５０以上－４９．９未満の範囲、－４９．９以上－４９．８未満の範囲、・・・、５０．０以上５０．１未満の範囲であってもよい。インデックス特定部２２１は、それぞれの母数が該当する数値範囲を特定し、その数値範囲の代表値を母数の値とし、その値を用いてインデックス対応表５００からインデックスの値を特定する。たとえば数値範囲の代表値が、母数Ａは「－５０．０」、母数Ｂは「０．２」と特定され、インデックス対応表５００が図４に示すものである場合には、インデックスの値を「１」と特定する。

またインデックス特定部２２１は、予測器２０３が出力する母数Ａおよび母数Ｂが設定表６５０において規定される最小値と最大値の間にない場合は、クリップ処理により最小値および最大値のいずれか近い方の値であるとみなす。たとえば設定表６５０における母数Ａの最小値が「－５０」かつ母数Ａの最大値が「５０」である場合に、予測器２０３が出力する母数Ａが「－５１」の場合は「－５０」として扱い、予測器２０３が出力する母数Ａが「６０」の場合は「５０」として扱う。

確率特定部２２２は、インデックス特定部２２１が特定したインデックスの値を用いて、分布表６００を参照して、特徴量マップの全てのシンボルについて累積度数を取得する。この取得した累積度数を用いて、エントロピー符号化部２０２におけるレンジコーダは、シンボルを符号化してデータ量が削減された圧縮ファイル７００を作成する。正確には、エントロピー符号化部２０２は圧縮ファイル７００の一部であるバイナリを作成する。

圧縮ファイル生成部２３０は、圧縮ファイル７００の別の一部分であるヘッダーを作成する。具体的には圧縮ファイル生成部２３０は、記憶媒体１１４から設定表６５０を取得してこれをそのまま圧縮ファイル７００のヘッダーとする。

なお、本実施の形態ではレンジコーダが累積度数表を用いて符号化を行うため、インデックスと累積度数との対応を示す分布表６００を用いた。しかし分布表６００は、インデックスと出現確率との関係を示す表とし、累積度数はその都度算出してもよい。確率密度関数の計算をせずに確率または累積度数の何れかを取得可能であるなら、本実施の形態における高速化効果を得ることが可能である。

（圧縮ファイル）
図７は、圧縮処理により生成される圧縮ファイル７００の一例を示す図である。圧縮ファイル７００は、ヘッダー７１１とバイナリ７１２とを含む。ヘッダー７１１は圧縮ファイル生成部２３０により作成され、バイナリ７１２はエントロピー符号化部２０２により作成される。ヘッダー７１１は、圧縮時に用いた分布表６００を再生成可能な情報である。たとえばヘッダー７１１は、設定表６５０の情報がそのまま含まれていてもよいし、設定表６５０と同一情報が異なる形式で格納されてもよい。バイナリ７１２は、前述のエントロピー符号化部２０２が出力するビット列である。圧縮ファイル７００が設定表６５０の情報を有する理由は以下のとおりである。

圧縮処理にて符号化して得られるバイナリ７１２を利用するには伸張処理を行う必要がある。伸張処理において、レンジデコーダにてバイナリ７１２を復号化する。レンジデコーダによる復号化では、各シンボルについて符号化時と同一の分布表６００が必要となる。そのため圧縮ファイル７００には、圧縮時に用いた分布表６００を再生成可能な情報をヘッダー７１１として含ませている。

設定表６５０は、母数Ａの粒度７３１、母数Ａの最小値７３２、母数Ａの最大値７３３、母数Ｂの粒度７３４、母数Ｂの最小値７３５、母数Ｂの最大値７３６、シンボルの最小値７３７、シンボルの最大値７３８の情報を有している。なお、本発明はこのパラメータ数の例に限定されるものではない。たとえば、圧縮時と同一の分布表６００を識別可能なＩＤを保持するとしてもよく、圧縮時と同一の分布表６００を再生成またはＨＤＤ等の記憶媒体から取得、のいずれかが可能な情報であればよい。また、圧縮器が単一の分布表６００しか用いない場合には、圧縮ファイルのヘッダー内に累積頻度情報を含まない場合があってもよい。

本実施例の圧縮器は後述の伸張処理の前に、圧縮ファイル７００のヘッダー７１１内より、設定表６５０の情報を取得し、圧縮時と同一の分布表６００を作成する。なお、本発明はこの例に限定されるものではなく、圧縮ファイルに分布表６００を識別可能なＩＤが含まれている場合には、このＩＤをもとに再生成してもよいし、ＩＤをもとにＨＤＤ等の記憶媒体から取得してもよい。

（伸張処理）
図８は、伸張処理を示すフロー図である。演算装置１００の伸張処理は、前述の圧縮処理にて作成した圧縮ファイル７００をエントロピー復号化部３０２に内蔵されるレンジデコーダにて復号化し、特徴量マップＦを取得する処理にて開始する。

このレンジデコーダによる復号処理は、圧縮時と同一のインデックス対応表５００および分布表６００が必要となる。このため、インデックス生成部２１１および分布表生成部２１２は、圧縮ファイル７００のヘッダー７１１を参照し、インデックス対応表５００および分布表６００を作成する。圧縮処理において予測器２０３の入力であった特徴量マップＦは、復号化の結果として得られるものであるため、復号処理において予測器２０３の入力は圧縮処理と同一ではない。

予測器２０３は、特徴量マップＦの一部分を入力することで、入力とは異なる場所の特徴量マップＦの一部分のシンボルにおける出現確率を予測する。このため、特徴量マップＦを部分的に入力し、出現確率または累積度数分布を取得して、レンジコーダで入力とは異なる特徴量マップＦの一部分を復号化する。こうして得られた特徴量マップＦの一部分を再び予測器２０３に入力し、出現確率または累積度数分布を取得して、レンジコーダで入力とは異なる特徴量マップＦの別の一部分を復号化する。このように、予測と復号化のループ処理を繰り返して、最終的に特徴量マップＦの全体を得る。予測と復号化のループ処理を行うための最初の入力は、圧縮ファイル７００に保存しておいてもよいし、ダミー入力であってもよい。

伸張処理における予測と復号化のループ処理にて、予測器２０３が確率密度関数の母数を生成するたびに、インデックス特定部２２１および確率特定部２２２が圧縮処理の場合と同様に動作する。この予測と復号化のループ処理によりすべての特徴量マップＦを復号化する。

復号化された特徴量マップＦは、デコーダ３０１にて元のセンサデータＳに変換される。デコーダ３０１は、エンコーダ２０１と対となって構成され、エンコーダ２０１にて生じた値の欠損等を、平滑化等の処理にて補い、人に画質の違和感を認識させないように動作する。デコーダ３０１は、ニューラルネットワークにより構成されてもよいし、特徴量マップＦをセンサデータＳに変換可能であればいかなる仕組みであってもよい。なお、圧縮処理の対象とされたセンサデータＳと、伸張処理により得られるセンサデータＳとは完全に一致しなくてもよく、略同一であればよい。略同一とはたとえば、人間の知覚において同一であることの確からしさが所定の閾値以上であることや、コンピュータ処理において所定の処理の結果が同一になることである。

（ユーザインタフェース）
図９は、ユーザが設定値を設定するユーザインタフェース画面８００の一例を示す図である。ユーザインタフェース画面８００は、演算装置１００または、演算装置１００とネットワーク１０１にて接続されたクライアント端末１０３に表示される。

ユーザインタフェース画面８００は、ユーザが設定を行うためのグラフィカルユーザインタフェース画面の一例を示している。累積度数の設定項目として、母数Ａの粒度８０１、母数Ａの最小値８０２、母数Ａの最大値８０３、母数Ｂの粒度８０４、母数Ｂの最小値８０５、母数Ｂの最大値８０６、の入力フィールドを有する。特徴量マップの設定項目として、シンボルの最小値８１１、シンボルの最大値８１２の入力フィールドを有する。

演算装置１００は、ユーザインタフェース画面８００にユーザからの入力があると、その入力を設定表６５０に書き込み、後の処理に反映させる。具体的には、累積度数の設定に基づき分布表生成部２１２が分布表６００を作成する。特徴量マップの設定は、エンコーダ２０１より出力されるシンボルの値を制限する。以上が本実施例におけるユーザインタフェース画面である。

なお、図９に示すユーザインタフェース画面８００の設定項目の全てを含むことは必須の構成ではなく、１つの項目のみユーザが設定可能でもよいし、ユーザインタフェース画面８００が設けられなくてもよい。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）演算装置１００は、予測器とエンコーダとデコーダとを有し、確率密度分布を用いてデータのエンコード及びデコードを行う演算装置において、学習処理と圧縮処理とのうち少なくとも圧縮処理を実行可能であり、学習処理にて作成した、ニューラルネットワークを用いて学習をすることで、母数とシンボル値の確率分布とを対応させた確率分布表を利用可能であり、圧縮処理では、予測器が、入力データから母数を算出し、エンコーダが、算出された母数と、確率分布表と、に基づくシンボル値の確率分布を用いて、入力データを圧縮する。そのため、演算に時間を要する確率密度関数の算出を事前に行い分布表６００を作成し、あらかじめ作成したインデックス対応表５００および分布表６００を参照することで演算量を低減できる。ニューラルネットワークの出力は小数であることが一般的であり、ルックアップテーブルとの組合せには馴染まない。本実施の形態では演算装置１００はインデックス決定部２４０を有するので、ニューラルネットワークの出力をインデックス化することができ、あらかじめ作成されたルックアップテーブルと組み合わせて使用できる。換言すると、処理時間の短縮または、より廉価な処理資源にて処理することが可能となり演算処理のコストを軽減できる。

（２）演算装置１００は、算出された母数と、確率分布表と、に基づいて、圧縮に用いるシンボル値の確率分布を選択する確率特定部を備える。

（３）母数は、入力データの確率密度分布の平均と分散とである。

（４）学習処理を行い、学習処理では、ニューラルネットワークの結合係数を適正化して、確率密度分布を作成する。

（５）学習処理では、分散が小さくなるようにニューラルネットワークの結合係数を適正化する。

（６）学習処理では、入力データの複数のシンボルごとに、確率密度分布を作成するとともに、その母数を算出し、算出した複数の母数の最大値及び最小値に基づく分布範囲に基づいて所定の粒度で確率分布表に格納する母数を設定し、設定した母数に対応する確率密度分布を確率分布表に記載する。そのため、不要な母数の範囲は使用せず、圧縮の効率を向上できる。

さらに本実施の形態は次の作用効果も有する。
（７）演算装置１００は、予測器２０３が出力する確率密度分布の母数を所定の数値範囲に区分けし、該当する数値範囲の代表値に対応する値であるインデックスを決定するインデックス決定部２４０を備える。分布表６００は、インデックスとシンボルに対応する確率密度分布の算出結果に基づく値との対応を示す。そのため母数の出力と累積度数との対応を容易に把握できる。

（８）インデックス決定部２４０の一部であるインデックス生成部２１１は、ユーザの指示に基づきインデックスの粒度、すなわち所定の数値範囲の幅を決定する。そのため、計算の精度と事前に作成する分布表６００の作成時間のトレードオフをユーザの指示に基づき決定できる。

（９）分布表６００における確率密度関数の算出結果に基づく値は、確率密度関数の算出結果に基づいて作成される累積度数分布である。そのため、確率の算出よりも時間を要する累積度数を事前に算出し、圧縮処理に要する時間を短縮できる。

（１０）確率密度関数の算出結果に基づく値を用いて入力情報である特徴量マップＦを符号化、すなわち圧縮するエントロピー符号化部２０２を備える。そのため演算装置１００は、圧縮ファイル７００を作成する圧縮処理の処理負荷を軽減できる。

（１１）演算装置１００は、前述の所定の数値範囲のそれぞれを特定するインデックスパラメータ情報と、対応情報を特定する確率特定情報と、符号化部が出力する符号化された入力情報とを結合させた圧縮ファイルを生成する圧縮ファイル生成部２３０を備える。そのため演算装置１００は、圧縮ファイル７００に設定表６５０の情報を含ませることで、異なる演算装置１００においても伸張処理の実行を可能とする。

（１２）圧縮ファイル７００は、入力されるシンボルに応じた確率密度分布の母数を出力するニューラルネットワークであって、あらかじめ入力された複数のシンボルに対応する複数の母数を用いて作成されたガウス分布におけるシンボルの確率の平均値が最大となるように結合係数が変更されたニューラルネットワークを含む予測器２０３が出力する確率密度分布の母数を所定の数値範囲に区分けするためのインデックスパラメータ情報と、インデックスパラメータ情報を用いて予測器２０３が出力する母数を所定の数値範囲に区分けし、該当する数値範囲における代表値を用いて、シンボルに対応する確率密度分布の算出結果に基づく値を得るための確率特定情報と、確率密度分布の算出結果に基づく値を用いてシンボルが圧縮された圧縮済データであるバイナリ７１２と、を含むデータ構造を有する。そのため、バイナリ７１２の伸張処理をインデックスパラメータ情報および確率特定情報を用いて効率よく実行させることができる。

（１３）演算装置１００は、入力されるシンボルに応じた確率密度分布の母数を出力するニューラルネットワークであって、あらかじめ入力された複数のシンボルに対応する複数の母数を用いて作成されたガウス分布におけるシンボルの確率の平均値が最大となるように結合係数が変更されたニューラルネットワークを含む予測器２０３が出力する確率密度分布の母数を所定の数値範囲に区分けするためのインデックスパラメータ情報と、インデックスパラメータ情報を用いて予測器２０３が出力する母数を所定の数値範囲に区分けし、該当する数値範囲における代表値を用いて、シンボルに対応する確率密度分布の算出結果に基づく値を得るための確率特定情報と、確率密度分布の算出結果に基づく値を用いてシンボルが圧縮された圧縮済データと、を含む圧縮ファイルが格納される記憶媒体１１４と、予測器２０３と、確率特定情報に基づき、代表値とシンボルに対応する確率密度分布の算出結果に基づく値との対応を示す対応情報を作成する対応情報作成部、すなわちインデックス生成部２１１および分布表生成部２１２と、インデックスパラメータ情報に基づき、予測器２０３が出力する確率密度分布の母数を所定の数値範囲に区分けして得られる代表値と、対応情報とを用いて、代表値に対応する確率密度分布の算出結果に基づく値を特定する確率特定部２２２と、圧縮済データであるバイナリ７１２を、確率密度分布の算出結果に基づく値を参照してシンボルに復号化するエントロピー復号化部３０２とを備える。そのため演算装置１００は、任意の設定表６５０の値に基づいて作成された、圧縮ファイル７００に格納されたバイナリ７１２を伸張することができる。

（変形例１）
センササーバ１０２が演算装置１００と同等の処理資源を有し、演算装置１００と同様の圧縮処理や伸張処理を行ってもよい。また演算装置１００およびセンササーバ１０２は、圧縮処理および伸張処理をプロセッサではなくＧＰＵやＦＰＧＡ等の処理資源にて処理してもよい。

（変形例２）
予測器２０３が出力する確率密度関数の母数の個数は２つに限定されず、１以上であればよい。予測器２０３が出力する母数の数に応じて、設定表６５０の設定項目数が増減する。そして、設定表６５０の記載に応じてインデックス対応表５００に記載されるインデックスの総数も変化する。これに応じて分布表６００におけるインデックスの総数も変化する。

また２つ以上の母数を有する確率密度関数を用いた場合にそのうちの一つを定数とし、予測器２０３は一つの母数のみを出力するとしてもよい。たとえば、ガウス分布は一般に平均と標準偏差の二つを母数として有するが、平均は０の定数とし、予測器２０３は標準偏差のみ出力するとしてもよい。

（変形例３）
圧縮ファイル７００には、設定表６５０の代わりにインデックス対応表５００および分布表６００を特定する情報、たとえばあらかじめ作成された複数のインデックス対応表５００および分布表６００の識別子が含まれてもよい。さらに圧縮ファイル７００には、圧縮処理において使用した予測器２０３のパラメータを特定する情報を含めてもよい。

（変形例４）
上述した第１の実施の形態では、伸張時に特徴量マップＦの一部を予測器２０３に入力したが、伸張時に特徴量マップＦを一切入力しない予測器を用いてもよい。たとえば、圧縮処理において、予測器２０３にて特徴量マップＦから特徴量マップＦの特徴量に相当するハイパー特徴量マップを作成し、ハイパー特徴量マップを、特徴量マップＦのレンジコーダによる符号化後のバイナリ７１２とは別に圧縮ファイルに保存してもよい。この構成であれば、伸張時に特徴量マップを予測器に入力する必要はなく、前述の予測―復号化のループ処理は不要となる。このとき、ハイパー特徴量マップのデータ量を十分に小さくすれば、特徴量マップのエントロピー符号化によるデータ削減効果は果たされる。

（変形例５）
上述した第１の実施の形態において、エンコーダ２０１を用いなくてもよい。この場合には特徴量マップＦの代わりにセンサデータＳが予測器２０３およびエントロピー符号化部２０２に入力される。

（変形例６）
予測器２０３の出力は、確率密度関数の母数に限定されない。予測器２０３は、ニューラルネットワークの出力として何らかの数値を出力すればよい。予測器２０３の出力が数値でさえあれば、その数値範囲に対応したインデックス対応表５００をあらかじめ作成することにより、予測器２０３の出力をインデックス特定部２２１によりインデックス化できる。

（変形例７）
上述した第１の実施の形態では、センサデータＳを主に２次元の広がりを有する画像として説明したが、画像よりも次元数が少ないラインセンサの出力などや、画像よりも次元数が多い動画などであってもよい。センサデータＳの次元数に応じて特徴量マップＦの次元数が変化するが、処理の流れは同一である。

（変形例８）
上述した第１の実施の形態では、演算装置１００は圧縮処理と伸長処理の両方を実行した。しかし演算装置１００は圧縮処理および伸張処理の少なくとも一方を実行可能であればよい。演算装置１００が圧縮処理のみを実行する場合には、図２に示した構成からデコーダ３０１およびエントロピー復号化部３０２を除いた構成でよい。演算装置１００が伸張処理のみを実行する場合には、図２に示した構成からエンコーダ２０１、エントロピー符号化部２０２、および圧縮ファイル生成部２３０を除いた構成でよい。

（変形例９）
図１０は、変形例９における演算装置１００Ａの機能構成図である。図１０に示す演算装置１００Ａは、第１の実施の形態における構成に加えて、粒度決定部２５０をさらに備える。粒度決定部２５０は、母数の粒度を決定する。すなわち粒度決定部２５０は、設定表６５０における母数Ａの粒度および母数Ｂの粒度の少なくとも一方を決定する。

粒度決定部２５０はたとえば、演算装置１００Ａの演算能力を評価するためにベンチマークを実行し、得られたベンチマークのスコアに応じて粒度を設定する。また粒度決定部２５０は、演算装置１００Ａのハードウエア構成の情報を演算装置１００Ａのオペレーティングシステムやソフトウエアプラットフォームなどから取得し、ハードウエア構成から演算能力を推定して粒度を設定してもよい。粒度決定部２５０は、ベンチマークのスコアが高いほど、または推定した演算能力が高いほど粒度を細かく設定する。

本変形例によれば、演算装置１００Ａは、演算装置１００Ａの演算能力に基づきインデックス決定部２４０が決定するインデックスの粒度、すなわち前述の所定の数値範囲の幅を決定する。そのため演算装置１００Ａの処理能力が高いほどインデックスの粒度を細かくし、精度を高めることができる。

（変形例１０）
分布表６００において、インデックスの代わりに２つの母数を記載してもよい。すなわち分布表６００は、２つの母数と累積度数との対応を示すテーブルであってもよい。なおこの２つの母数のそれぞれは、インデックス対応表５００における記載と同様に、母数の値そのものを示すのではなく、所定の数値範囲に区分けした代表値である。

―第２の実施の形態―
図１１～図１２を参照して、演算装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、インデックス対応表５００を必須の構成としない点で、第１の実施の形態と異なる。

図１１は、第２の実施の形態における演算装置１００Ｂの機能構成図である。第１の実施の形態における構成からインデックス生成部２１１およびインデックス特定部２２１が削除され、両者の機能を兼ねるインデックス決定部２４０が明示されている。インデックス決定部２４０は、インデックス対応表５００を参照することなくインデックスの値を特定する。すなわちインデックス決定部２４０は、予測器２０３が出力する２つの母数を用いて以下に説明するインデックス決定処理において数式演算を行いインデックスの値を特定する。

図１２は、インデックス決定部２４０によるインデックス決定処理を示すフローチャートである。まずステップＳ４０１ではインデックス決定部２４０は、設定表６５０を参照して母数Ａの「粒度」、「最小値」、「最大値」を取得する。続くステップＳ４０２ではインデックス決定部２４０は、母数Ａを最小値と最大値でクリップし、出力Ａを作成する。ニューラルネットワークの出力の値域は、一般に制限できないため、事前に作成した分布表６００における母数Ａの範囲外の値が出力される可能性があり、クリップにより制限する必要がある。クリップすることで、予測器２０３の予測した値より変化し、予測精度が悪化する可能性が生じるが、事前計算の分布表６００の母数Ａの値域が十分に大きければ無視できる。

出力Ａについて、インデックス化のために、正の整数値とするため、母数Ａの最小値を引く。そして、母数Ａの粒度の逆数との積をとり、四捨五入にて整数化する。この整数化した値をサブインデックスＡ（Ｓｕｂ＿Ｉｎｄｅｘ Ａ）と呼ぶ。続くステップＳ４０３では設定表６５０より母数Ｂの「粒度」、「最小値」、「最大値」を取得する。

続くステップＳ４０４ではインデックス決定部２４０は、予測の出力である母数Ｂを最小値と最大値でクリップし、出力Ｂを作成する。ニューラルネットワークの出力は、一般に制限できないため、事前に作成した分布表６００の母数Ｂの範囲外の値が出力される可能性があり、クリップにより制限する必要がある。最大値と最小値のクリップにより、予測器２０３の予測した値が変化するため、予測精度が悪化する可能性が生じるが、事前計算する分布表６００の母数Ｂの値域が十分に大きければ無視できる。

出力Ｂについて、インデックス化のために、正の整数値とするため、母数Ｂの最小値を引く。そして、母数Ｂの粒度の逆数との積をとり、四捨五入にて整数化する。この整数化した値を以下ではサブインデックスＢ（Ｓｕｂ＿Ｉｎｄｅｘ Ｂ）と呼ぶ。続くステップＳ４０５では、サブインデックスＢの最大値（ＭＡＸ＿Ｓｕｂ＿Ｉｎｄｅｘ Ｂ）を「（母数Ｂの最大値―母数Ｂの最小値）×（母数Ｂの粒度の逆数）」として算出する。続くステップＳ４０６では、Ｉｎｄｅｘ＝Ｓｕｂ＿Ｉｎｄｅｘ Ａ×（ＭＡＸ＿Ｓｕｂ＿Ｉｎｄｅｘ Ｂ＋１）＋Ｓｕｂ＿Ｉｎｄｅｘ Ｂ、という演算を行いインデックスを算出する。

上述した第２の実施の形態によれば、インデックス対応表５００を作成しなくても第１の実施の形態と同様の作用効果が得られる。

上述した各実施の形態および変形例において、機能ブロックの構成は一例に過ぎない。別々の機能ブロックとして示したいくつかの機能構成を一体に構成してもよいし、１つの機能ブロック図で表した構成を２以上の機能に分割してもよい。また各機能ブロックが有する機能の一部を他の機能ブロックが備える構成としてもよい。

上述した各実施の形態および変形例において、演算装置１００が有する機能を実現するプログラムは不図示のＲＯＭに格納されるとしたが、プログラムは記憶媒体１１４に格納されていてもよい。また、演算装置１００が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと演算装置１００が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、たとえば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１００、１００Ａ、１００Ｂ…演算装置
２０１…エンコーダ
２０２…エントロピー符号化部
２０３…予測器
２１１…インデックス生成部
２１２…分布表生成部
２２１…インデックス特定部
２２２…確率特定部
２３０…圧縮ファイル生成部
２４０…インデックス決定部
３０１…デコーダ
３０２…エントロピー復号化部
５００…インデックス対応表
６００…分布表
６５０…設定表
７００…圧縮ファイル
７１１…ヘッダー
７１２…バイナリ

プロセッサ１１２は、プログラムに従って動作し、対象データを処理する。プロセッサ１１２は、内部に複数のプロセッサコアを有し、それぞれプロセッサコアは独立してまたは協調してプログラムを処理する。プロセッサ１１２は、内部にＤＲＡＭコントローラを有し、プロセッサからのリクエストに応じてＤＲＡＭ１１１よりデータを取得、またはＤＲＡＭ１１１にデータを格納する。プロセッサ１１２は、外部ＩＯインタフェースを有し、バックエンドインタフェース１１３に接続する。プロセッサ１１２は、バックエンドインタフェース１１３を経由して二次記憶装置である記憶媒体１１４に指示を通知する。プロセッサ１１２は、センサデータの圧縮および伸張に関連する後述の各種処理を行う。

分布表６００は、インデックスごとに、全てのシンボルの値ごとに対応する累積度数の値を格納したテーブルである。分布表６００は、設定表６５０を参照して分布表生成部２１２により生成される。なお演算装置１００が分布表生成部２１２を有することは必須の構成ではなく、分布表６００が演算装置１００以外であらかじめ作成されてもよい。また、設定表６５０に設定される様々な値を想定して演算装置１００の外部であらかじめ複数の分布表６００を作成しておき、設定表６５０の値に応じて適切な分布表６００を読み込んでもよい。

インデックス特定部２２１は、インデックス対応表５００を参照し、予測器２０３の出力である２つの母数の組合せに対応するインデックスの値を特定する。ただし予測器２０３は２つの母数を浮動小数点形式にて出力するので、母数をそのまま用いると組合せの数が膨大になる。そのためインデックス特定部２２１は、それぞれの母数を所定の数値範囲に区分けし、該当する数値範囲の代表値を算出する。この代表値の範囲が設定表６５０に最小値と最大値として記載されており、それぞれの所定範囲の広さが粒度として記載されている。図３に示す設定表６５０の例では、母数Ａにおける所定の数値範囲はたとえば、－５０を中心とする幅０．１の範囲、－４９．９を中心とする幅０．１の範囲、－４９．８を中心とする幅０．１の範囲、・・・、５０．０を中心とする幅０．１の範囲、である。

なお、本実施の形態ではレンジコーダが累積度数表を用いて符号化を行うため、インデックスと累積度数との対応を示す分布表６００を用いた。しかし分布表６００は、インデックスと出現確率との関係を示す表とし、累積度数はインデックスと出現確率との関係ごとに算出してもよい。確率密度関数の計算をせずに確率または累積度数の何れかを取得可能であるなら、本実施の形態における高速化効果を得ることが可能である。

予測器２０３は、特徴量マップＦの一部分を入力することで、入力とは異なる場所の特徴量マップＦの一部分のシンボルにおける出現確率を予測する。このため、特徴量マップＦを部分的に入力し、出現確率または累積度数分布を取得して、レンジデコーダで入力とは異なる特徴量マップＦの一部分を復号化する。こうして得られた特徴量マップＦの一部分を再び予測器２０３に入力し、出現確率または累積度数分布を取得して、レンジデコーダで入力とは異なる特徴量マップＦの別の一部分を復号化する。このように、予測と復号化のループ処理を繰り返して、最終的に特徴量マップＦの全体を得る。予測と復号化のループ処理を行うための最初の入力は、圧縮ファイル７００に保存しておいてもよいし、ダミー入力であってもよい。

センササーバ１０２が演算装置１００と同等の処理資源を有し、演算装置１００と同様の圧縮処理や伸張処理を行ってもよい。また演算装置１００およびセンササーバ１０２は、圧縮処理および伸張処理をプロセッサではなくＧＰＵやＦＰＧＡ等の処理資源にて実施してもよい。

また２つ以上の母数を有する確率密度関数を用い場合にそのうちの一つを定数とし、予測器２０３は一つの母数のみを出力するとしてもよい。たとえば、ガウス分布は一般に平均と標準偏差を二つの母数として有するが、平均は０の定数とし、予測器２０３は標準偏差のみ出力するとしてもよい。

図１２は、インデックス決定部２４０によるインデックス決定処理を示すフローチャートである。まずステップＳ４０１ではインデックス決定部２４０は、設定表６５０を参照して母数Ａの「粒度」、「最小値」、「最大値」を取得する。続くステップＳ４０２ではインデックス決定部２４０は、母数Ａを最小値と最大値でクリップし、出力Ａを作成する。ニューラルネットワークの出力の値域は、一般に制限できないため、事前に作成した分布表６００における母数Ａの範囲外の値が出力される可能性があり、クリップにより制限する必要がある。クリップすることで、予測器２０３の予測した値が変化し、予測精度が悪化する可能性が生じるが、事前計算の分布表６００の母数Ａの値域が十分に大きければ無視できる。

Claims (7)

1. 予測器とエンコーダとデコーダとを有し、確率密度分布を用いてデータのエンコード及びデコードを行う演算装置において、
   学習処理と圧縮処理とのうち少なくとも圧縮処理を実行可能であり、
   前記学習処理にて作成した、ニューラルネットワークを用いて学習をすることで、母数とシンボル値の確率分布とを対応させた確率分布表を利用可能であり、
   前記圧縮処理では、
   前記予測器が、入力データから母数を算出し、
   前記エンコーダが、前記算出された母数と、前記確率分布表と、に基づくシンボル値の確率分布を用いて、前記入力データを圧縮する
   演算装置。
2. 請求項１に記載の演算装置において、
   前記算出された母数と、前記確率分布表と、に基づいて、前記圧縮に用いるシンボル値の確率分布を選択する確率特定部を備える
   演算装置。
3. 請求項１に記載の演算装置において、
   前記母数は、前記入力データの確率密度分布の平均と分散とであることを特徴とする
   演算装置。
4. 請求項３に記載の演算装置において、
   前記学習処理を行い、
   前記学習処理では、前記ニューラルネットワークの結合係数を適正化して、前記確率密度分布を作成する
   演算装置。
5. 請求項４に記載の演算装置において、
   前記学習処理では、前記分散が小さくなるように前記ニューラルネットワークの結合係数を適正化する
   演算装置。
6. 請求項４に記載の演算装置において、
   前記学習処理では、
   入力データの複数のシンボルごとに、前記確率密度分布を作成するとともに、その母数を算出し、
   前記算出した複数の母数の最大値及び最小値に基づく分布範囲に基づいて所定の粒度で前記確率分布表に格納する母数を設定し、前記設定した母数に対応する確率密度分布を前記確率分布表に記載する
   演算装置。
7. 予測器とエンコーダとデコーダとを有し、確率密度分布を用いてデータのエンコード及びデコードを行う演算装置が実行する圧縮方法であって、
   前記演算装置は、学習処理と圧縮処理とのうち少なくとも圧縮処理を実行可能であり、
   前記学習処理にて作成した、ニューラルネットワークを用いて学習をすることで、母数とシンボル値の確率分布とを対応させた確率分布表を利用可能であり、
   前記圧縮処理には、
   前記予測器が、入力データから母数を算出することと、
   前記エンコーダが、前記算出された母数と、前記確率分布表と、に基づくシンボル値の確率分布を用いて、前記入力データを圧縮することとを含む、圧縮方法。
   
   
   

Images