JP2021174404A - データ生成装置、訓練装置及びデータ生成方法 - Google Patents

Abstract

【課題】圧縮ファイルから解凍データを生成する際の、処理効率を向上させるデータ生成装置、訓練装置及びデータ生成方法を提供する。【解決手段】サーバ装置において、訓練用プロセッサの前処理コア１１２は、圧縮ファイルを解凍するデータ生成装置であって、解凍完了前の中間データを操作する操作部（切り出し操作部４１０、リサイズ操作部４２０、フリップ操作部４３０）と、操作部よりも後段に位置し、操作された中間データから解凍データを生成する生成部とを有する。圧縮ファイルはＪＰＥＧファイルであり、中間データはハフマン複合化の後のデータである。操作部は、中間データに対して、切り出し操作、リサイズ操作、フリップ操作を行う。【選択図】図４

Description

本開示は、データ生成装置、訓練装置及びデータ生成方法に関する。

従来より、画像データに対してデータ拡張処理を施し、訓練用のデータを生成したうえで、訓練用モデルの訓練を行うサーバ装置が知られている。当該サーバ装置では、例えば、画像データとして、所定の方式で圧縮された圧縮ファイルを処理する場合、
・はじめに、ＣＰＵ（Central Processing Unit）が当該圧縮ファイルに対して解凍処理を行い、解凍データを生成し、
・続いて、専用のプロセッサ（訓練装置）が当該解凍データに対してデータ拡張処理を施す（あるいは、ＣＰＵが当該解凍データに対して一部のデータ拡張処理を施し、専用のプロセッサが当該解凍データに対して他のデータ拡張処理を施す）、
ことで、訓練用のデータを生成し、訓練用モデルの訓練を行う。

一方で、ＣＰＵによる圧縮ファイルの解凍処理には一定程度の時間を要する。このため、訓練用モデルの訓練を行う際、圧縮ファイルに基づいて生成される訓練用のデータを利用しようとすると、訓練用のデータの生成がボトルネックとなって、訓練時の計算性能が低下するとともに、サーバ装置全体の性能が制限される。

特許第６５６９０４７号公報 特開２００８−２３４６２７号公報 特開２０１９−３２８２１号公報 特表２００９−５０８４５２号公報 特表２００８−５３３７８７号公報

本開示は、圧縮ファイルから解凍データを生成する際の、処理効率を向上させるデータ生成装置、訓練装置及びデータ生成方法を提供する。

本開示の一態様によるデータ生成装置は、例えば、以下のような構成を有する。即ち、
圧縮ファイルを解凍するデータ生成装置であって、
解凍完了前の中間データを操作する操作部と、
操作された前記中間データから解凍データを生成する生成部とを有する。

サーバ装置のハードウェア構成の一例を示す図である。 一般的なＪＰＥＧエンコーダがＪＰＥＧファイルを生成するまでの処理の概要を説明するための図である。 一般的なＪＰＥＧデコーダがＪＰＥＧファイルを解凍し、解凍データを生成するまでの処理の概要を説明するための図である。 前処理コアの機能構成を示す図である。 切り出し操作部による切り出し処理の具体例を示す図である。 リサイズ操作部によるリサイズ処理の具体例を示す図である。 フリップ操作部による反転処理の具体例を示す図である。 前処理コアの実行例を示す図である。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

［第１の実施形態］
＜サーバ装置のハードウェア構成＞
はじめに、第１の実施形態に係るデータ生成方法が実現されるサーバ装置のハードウェア構成について説明する。図１は、サーバ装置のハードウェア構成の一例を示す図である。図１に示すように、サーバ装置１００は、構成要素として、例えば、ＣＰＵ１０１、主記憶装置（メモリ）１０２、補助記憶装置１０３、訓練用プロセッサ１０４、ネットワークインタフェース１０５、デバイスインタフェース１０６を有する。サーバ装置１００は、これらの構成要素がバス１０７を介して接続されたコンピュータとして実現される。

なお、図１の例では、サーバ装置１００は、各構成要素を１個ずつ備えるものとして示しているが、サーバ装置１００は、同じ構成要素を複数備えていてもよい。また、図１の例では、１台のサーバ装置１００が示されているが、複数のサーバ装置それぞれがネットワークインタフェース１０５等を介して通信することで全体の処理を実行する分散コンピューティングの形態をとってもよい。つまり、サーバ装置１００は、１または複数の記憶装置に記憶された命令を１台または複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された各種データをクラウド上に設けられた１台または複数台のサーバ装置で処理し、処理結果を端末に送信する構成であってもよい。

サーバ装置１００の各種演算は、１または複数の訓練用プロセッサ１０４を用いて、または、通信ネットワーク１３０を介して通信する複数台のサーバ装置を用いて並列処理で実行されてもよい。また、各種演算は、訓練用プロセッサ１０４内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部または全部は、通信ネットワーク１３０を介してサーバ装置１００と通信可能なクラウド上に設けられた外部装置１２０により実行されてもよい。このように、サーバ装置１００は、１台または複数台のコンピュータによる並列コンピューティングの形態をとってもよい。なお、本実施形態の場合、これらの分散、並列処理は、例えば複数の画像データを処理する際に有効であり、１つの画像データに対して、分散、並列処理を実行することを意図するものではない。

続いて、サーバ装置１００の各構成要素について説明する。ＣＰＵ１０１は、補助記憶装置１０３にインストールされている各種プログラムを実行する演算デバイスである。

主記憶装置１０２は、ＣＰＵ１０１が実行する命令及び各種データ等を記憶する記憶装置であり、主記憶装置１０２に記憶された各種データがＣＰＵ１０１により読み出される。補助記憶装置１０３は、主記憶装置１０２以外の記憶装置である。なお、これらの記憶装置は、各種データを格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ、不揮発性メモリのいずれでもよい。サーバ装置１００において各種データを保存するための記憶装置は、主記憶装置１０２又は補助記憶装置１０３により実現されてもよく、ＣＰＵ１０１に内蔵される内蔵メモリにより実現されてもよい。

また、１つの主記憶装置１０２に対して、複数のＣＰＵ１０１が接続（結合）されてもよいし、単数のＣＰＵ１０１が接続されてもよい。１つのＣＰＵ１０１に対して、複数の主記憶装置１０２が接続（結合）されてもよい。サーバ装置１００が、少なくとも１つの主記憶装置１０２と、この少なくとも１つの主記憶装置１０２に接続（結合）される複数のＣＰＵ１０１とで構成される場合、複数のＣＰＵ１０１のうち少なくとも１つのＣＰＵが、少なくとも１つの主記憶装置１０２に接続（結合）される構成を含んでもよい。また、複数台のサーバ装置１００に含まれる主記憶装置１０２とＣＰＵ１０１とによって、この構成が実現されてもよい。さらに、主記憶装置１０２がＣＰＵと一体になっている構成（例えば、Ｌ１キャッシュ、Ｌ２キャッシュを含むキャッシュメモリ）を含んでもよい。

訓練用プロセッサ１０４は訓練装置の一例であり、電子回路（処理回路、Processing circuit、Processing circuitry、ＧＰＵ、ＦＰＧＡ、又はＡＳＩＣ等）であってもよい。また、訓練用プロセッサ１０４は、専用の処理回路を含む半導体装置等であってもよい。なお、訓練用プロセッサ１０４は、電子論理素子を用いた電子回路に限定されるものではなく、光論理素子を用いた光回路により実現されてもよい。また、訓練用プロセッサ１０４は、量子コンピューティングに基づく演算機能を含むものであってもよい。

訓練用プロセッサ１０４は、補助記憶装置１０３に記憶された圧縮ファイルを読み出し、データ拡張処理が施された解凍データを生成する。また、訓練用プロセッサ１０４は、生成した解凍データを用いてネットワーク、例えば、ＤＮＮ（Deep Neural Network：深層ニューラルネットワーク）の訓練を行う。ただし、訓練用プロセッサ１０４により訓練が行われるネットワークはＤＮＮに限定されず、ＤＮＮ以外のネットワークであってもよい（以下同様）。

具体的には、訓練用プロセッサ１０４は、ＩＯ１１１、前処理コア１１２、メモリ１１３、ＤＮＮ（Deep Neural Network）アクセラレータコア１１４を有する。ＩＯ１１１は入力デバイスの一例であり、バス１０７を介して、補助記憶装置１０３に格納された圧縮ファイル（本実施形態においては、ＪＰＥＧファイル）を読み出し、前処理コア１１２に入力する。

前処理コア１１２はデータ生成装置または生成デバイスの一例であり、圧縮ファイルに対して解凍処理及びデータ拡張処理を施すことで、データ拡張処理が施された解凍データを生成する。また、前処理コア１１２は、生成した解凍データを、訓練用のデータとして出力し、メモリ１１３に格納する。

このように、サーバ装置１００では、データ拡張処理が施された解凍データを、前処理コア１１２にて生成する。これにより、一般的なサーバ装置とは異なり、データ拡張処理が施された解凍データを、ＣＰＵ１０１を介することなく生成することが可能になる。この結果、サーバ装置１００によれば、圧縮ファイルに基づいて生成される訓練用のデータを利用して訓練用モデルの訓練を行う際、訓練用のデータの生成がボトルネックとなって、訓練時の性能が低下するといった事態を回避することができる。また、サーバ装置１００全体の性能が制限されるといった事態も回避することができる。

メモリ１１３は、前処理コア１１２にて生成された、データ拡張処理が施された解凍データを格納する。

ＤＮＮアクセラレータコア１１４はアクセラレータの一例であり、メモリ１１３に格納された訓練用のデータを所定単位ずつ入力することで、例えばＤＮＮを実行し、ＤＮＮの重みパラメータを更新することで、ＤＮＮの訓練（深層学習）を行う。

ネットワークインタフェース１０５は、無線又は有線により、通信ネットワーク１３０に接続するためのインタフェースである。ネットワークインタフェース１０５には、既存の通信規格に適合したもの等、適切なインタフェースが用いられる。ネットワークインタフェース１０５により、通信ネットワーク１３０を介して接続された外部装置１２０と各種データのやり取りが行われてもよい。なお、通信ネットワーク１３０は、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、ＰＡＮ（Personal Area Network）等のいずれか、又は、それらの組み合わせであってもよく、コンピュータと外部装置１２０との間で情報のやり取りが行われるものであればよい。ＷＡＮの一例としてインタネット等があり、ＬＡＮの一例としてＩＥＥＥ８０２．１１やイーサネット（登録商標）等があり、ＰＡＮの一例としてＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Near Field Communication）等がある。

外部装置１２０はコンピュータと通信ネットワーク１３０を介して接続されている装置である。外部装置１４０はコンピュータと直接接続されている装置である。

外部装置１２０または外部装置１４０は、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、又はタッチパネル等のデバイスであり、取得した情報をコンピュータに与える。また、パーソナルコンピュータ、タブレット端末、又はスマートフォン等の入力部とメモリとプロセッサとを備えるデバイス等であってもよい。

また、外部装置１２０または外部装置１４０は、一例として、出力装置であってもよい。出力装置は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰＤＰ（Plasma Display Panel）、又は有機ＥＬ（Electro Luminescence）パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末、又はスマートフォン等の出力部とメモリとプロセッサとを備えるデバイス等であってもよい。

また、外部装置１２０または外部装置１４０は、記憶装置（メモリ）であってもよい。例えば、外部装置１２０はネットワークストレージ等であってもよく、外部装置１４０はＨＤＤ等のストレージであってもよい。

また、外部装置１２０または外部装置１４０は、サーバ装置１００の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータは、外部装置１２０または外部装置１４０の処理結果の一部又は全部を送信または受信してもよい。

＜圧縮ファイルの説明＞
次に、訓練用プロセッサ１０４により処理される圧縮ファイルの一例として、ＪＰＥＧファイルについて説明する。具体的には、一般的なＪＰＥＧエンコーダが、ＲＧＢ形式の画像データを圧縮し、ＪＰＥＧファイルを生成するまでの処理と、一般的なＪＰＥＧデコーダが、ＪＰＥＧファイルを解凍し、解凍データを出力するまでの処理について説明する。

（１）ＪＰＥＧファイルを生成する処理の流れ
はじめに、ＪＰＥＧファイルを生成するまでの一般的な処理の流れについて説明する。図２は、一般的なＪＰＥＧエンコーダがＪＰＥＧファイルを生成するまでの処理の概要を説明するための図である。

図２に示すように、ＲＧＢ形式の画像データ２０１が入力されると、ＪＰＥＧエンコーダの色変換部２１０は、ＲＧＢ形式の画像データ２０１をＹＣｒＣｂ形式の画像データ２１１に変換する。

続いて、ＪＰＥＧエンコーダのサンプリング部２２０は、ＹＣｒＣｂ形式の画像データ２１１をサンプリングする。具体的には、サンプリング部２２０は、ＹＣｒＣｂ形式の画像データ２１１のうち、輝度情報（Ｙ）はそのままとし、色相情報（Ｃｒ、Ｃｂ）を１画素おきに間引きする。

続いて、ＪＰＥＧエンコーダのブロック分割部２３０は、サンプリング後のＹＣｒＣｂ形式の画像データ２２１を、８画素×８画素を１ブロックとするブロックに分割する。以降、ＪＰＥＧエンコーダでは、輝度情報（Ｙ）のブロック４に対して、色相情報（Ｃｒ）のブロック１、色相情報（Ｃｂ）のブロック１を一単位（ＭＣＵ）２３１とする処理単位で処理を行う。

続いて、ＪＰＥＧエンコーダのＤＣＴ部２４０は、ＭＣＵ２３１に含まれる各ブロックをＤＣＴ（Discrete Cosine Transform）処理し、ＤＣＴ処理後のＭＣＵ２４１を生成する。

続いて、ＪＰＥＧエンコーダのジグザグスキャン部２５０は、ＤＣＴ処理後のＭＣＵ２４１に含まれる各ブロックについてジグザグスキャンを行い（一列ごとに順にスキャンを行い）、ＤＣＴ処理後のＭＣＵ２４１に含まれる各ブロックのデータを一列に整列させる（符号２５１参照）。

続いて、ＪＰＥＧエンコーダの量子化部２６０は、一列に整列されたデータを量子化するとともに、量子化テーブル２６１を生成する。ＪＰＥＧエンコーダの量子化部２６０は、生成した量子化テーブル２６１を、ＪＰＥＧファイル２８０のヘッダに書き込む。

続いて、ＪＰＥＧエンコーダのハフマン符号化部２７０は、量子化されたデータをハフマン符号化し、圧縮画像データを生成する。ＪＰＥＧエンコーダのハフマン符号化部２７０は、生成した圧縮画像データをＪＰＥＧファイル２８０の本体部に書き込む。更に、ＪＰＥＧエンコーダのハフマン符号化部２７０は、ハフマンテーブル２７１を生成し、ＪＰＥＧファイル２８０のヘッダに書き込む。

ＪＰＥＧエンコーダによる以上の処理により、ＪＰＥＧファイル２８０が生成される。

（２）ＪＰＥＧファイルを解凍する処理の流れ
次に、ＪＰＥＧファイルを解凍して解凍データを生成するまでの一般的な処理の流れについて説明する。図３は、一般的なＪＰＥＧデコーダがＪＰＥＧファイルを解凍し、解凍データを生成するまでの処理の概要を説明するための図である。

図３に示すように、ＪＰＥＧファイル２８０が入力されると、ＪＰＥＧデコーダのハフマン復号部３１０は、ＪＰＥＧファイルのヘッダからハフマンテーブル２７１を読み出し、圧縮画像データに対してハフマン復号処理を行う。

続いて、ＪＰＥＧデコーダの逆量子化部３２０は、ＪＰＥＧファイルのヘッダから量子化テーブル２６１を読み出し、ハフマン復号部３１０によりハフマン復号処理が行われた圧縮画像データに対して、逆量子化処理を行う。

続いて、ＪＰＥＧデコーダの逆ジグザグスキャン部３３０は、逆量子化部３２０により逆量子化処理が行われることで生成された一列のデータに対して、逆ジグザグスキャン処理を行うことで（複数の列にする処理を行うことで）、８画素×８画素のブロックを生成する。

続いて、ＪＰＥＧデコーダの逆ＤＣＴ部３４０は、各ブロックについて、ＭＣＵ単位で逆ＤＣＴ処理を行う。

続いて、ＪＰＥＧデコーダのブロック結合部３５０は、逆ＤＣＴ部３４０により、ＭＣＵ単位で逆ＤＣＴ処理が行われた各ブロックを結合し、ＹＣｒＣｂ形式の画像データを生成する。

続いて、ＪＰＥＧデコーダの補間部３６０は、ブロック結合部３５０により生成されたＹＣｒＣｂ形式の画像データについて、色相情報（Ｃｒ、Ｃｂ）を補間する。

続いて、ＪＰＥＧデコーダの色変換部３７０は、補間部３６０により色相情報（Ｃｒ、Ｃｂ）が補間されたＹＣｒＣｂ形式の画像データを、ＲＧＢ形式の画像データに変換することで、解凍データを生成する。

ＪＰＥＧデコーダによる以上の処理により、ＪＰＥＧファイル２８０が解凍され、解凍データが生成される。

＜前処理コアにおいて実現される機能＞
次に、訓練用プロセッサ１０４の前処理コア１１２において実現される機能について説明する。上述したとおり、前処理コア１１２では、圧縮ファイルに対して解凍処理及びデータ拡張処理を施すことで、データ拡張処理が施された解凍データを生成する。

このとき、前処理コア１１２では、圧縮ファイルに対する解凍処理が完了してから、解凍データに対してデータ拡張処理を施す代わりに、圧縮ファイルに対する解凍処理が完了する前のデータ（以下、"中間データ"と称す）に対して、データ拡張処理を施す。つまり、前処理コア１１２は、一般的なＪＰＥＧデコーダの機能の間に、データ拡張処理のための機能が組み込まれた構成を有する。

このような構成とすることで、前処理コア１１２によれば、圧縮ファイルに基づいて、データ拡張処理が施された解凍データを生成する際の、処理効率を向上させることができる。

図４は、本実施形態の前処理コアの機能構成を示す図である。図４において、ハフマン復号部３１０、逆量子化部３２０、逆ジグザグスキャン部３３０、逆ＤＣＴ部３４０、ブロック結合部３５０、補間部３６０、色変換部３７０は、一般的なＪＰＥＧデコーダに含まれる機能と同じであり、図３を用いて説明済みである。このため、ここでは説明を省略する。

本実施形態の前処理コア１１２は、更にデータ拡張処理のための機能を有する操作部として、切り出し操作部４１０、リサイズ操作部４２０、フリップ操作部４３０を有する。

切り出し操作部４１０は、ＪＰＥＧファイルに対する解凍処理が完了する前の中間データの一部を切り出す操作（切り出し処理）を行う。切り出し操作部４１０は、ハフマン復号部３１０より後段の任意の位置に配置される。

ここで、切り出し操作部４１０を上流側（ハフマン復号部３１０に近い側）に配置した場合、切り出し操作部４１０より下流側に位置する各部は、切り出し操作部４１０により切り出された一部の中間データを処理対象として処理を行うことになる。このため、解凍処理が完了した画像データに対して切り出し処理を行う場合と比較して、解凍処理が完了するまでの間に処理するデータのデータ量を削減でき、効率的な処理を実現することができる。つまり、切り出し操作部４１０は、他の操作部より上流側に配置したほうが、計算の削減効果は大きくなる。

なお、切り出し操作部４１０は、ブロック結合部３５０より上流側に配置された場合、中間データの切り出しを、ブロック単位で行う。一方、ブロック結合部３５０より下流側に配置された場合、切り出し操作部４１０は、中間データの切り出しを、画素単位で行う。

リサイズ操作部４２０は、中間データのサイズを縮小または拡大する操作（リサイズ処理）を行う。リサイズ操作部４２０は、逆ＤＣＴ部３４０の位置に配置され、逆ＤＣＴ部３４０による逆ＤＣＴ処理の際、例えば、高周波成分をカットすることで、中間データのサイズを縮小するリサイズ処理を行う。なお、リサイズ操作部４２０によるリサイズ処理により、中間データのサイズが縮小された場合、切り出し操作部４１０同様、以降に、処理されるデータ量が削減されるため、効率的な処理を実現することができる。ただし、中間データのサイズを縮小するリサイズ処理を行った場合、解凍完了後の解凍データは、リサイズ操作部４２０によるリサイズ処理が行われない場合と比較して、画質が低下する。

また、リサイズ操作部４２０は、サイズを縮小するリサイズ処理に加えて、例えば、Ｂｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ法やＮｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ法等により、サイズを拡大するリサイズ処理も行う。なお、Ｂｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ法やＮｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ法等により、サイズを拡大するリサイズ処理を行う場合にあっては、リサイズ操作部４２０は、逆ＤＣＴ部３４０の位置に配置されている必要はない。例えば、リサイズ操作部４２０は、逆ＤＣＴ部３４０以降の任意の位置に配置されてもよい。

フリップ操作部４３０は、中間データの左右の位置を反転する操作（反転処理）を行う。フリップ操作部４３０は、逆ＤＣＴ部３４０より後段の任意の位置に配置され、中間データの読み出し方向を逆方向にすることで、反転処理を行う。このように、中間データに対して反転処理を行うことで、解凍処理が完了した解凍データに対して反転処理を行う場合と比較して、反転処理を効率的に行うことができる。

なお、前処理コア１１２において、データ拡張処理のためのいずれかの機能（切り出し操作部４１０、リサイズ操作部４２０、フリップ操作部４３０のいずれか）よりも後段に位置する、解凍処理を行う各部を、本実施形態では"生成部"と総称する。つまり、生成部は、中間データに対して切り出し処理、リサイズ処理、反転処理のいずれかが行われてから、解凍データが生成されるまでの間において、解凍処理を行うために実現される任意の機能を指す。

＜データ拡張処理のための機能による処理の具体例＞
次に、切り出し操作部４１０による切り出し処理、リサイズ操作部４２０によるリサイズ処理、フリップ操作部４３０による反転処理の具体例について説明する。

（１）切り出し操作部による切り出し処理の具体例
図５は、切り出し操作部による切り出し処理の具体例を示す図である。図５に示すように、切り出し操作部４１０が、ハフマン復号部３１０と逆量子化部３２０との間の位置に配置された場合、切り出し操作部４１０には、ブロック単位の中間データが入力される。このため、切り出し操作部４１０では、中間データに含まれる複数のブロックのうち、所定の領域に含まれる所定数のブロックを切り出すことで切り出し処理を行う。

図５の例は、切り出し操作部４１０が領域５００に含まれる６個のブロックを切り出した様子を示している。なお、複数のブロックのうち、切り出し操作部４１０が切り出す領域の位置、領域の大きさ（つまり、ブロックの数）、領域の形は、実際は、ＤＮＮの訓練を行うＤＮＮアクセラレータコア１１４側からの要求によって決まるものとする。ただし、通常は任意となることも多く、任意の場合にあっては、例えば、切り出す領域の大きさは乱数に基づいて決定してもよい。

また、切り出し操作部４１０は、１の中間データに対して、切り出す領域の位置、領域の大きさ、領域の形を変えて、複数回繰り返して、切り出し処理を行ってもよい。

（２）リサイズ操作部によるリサイズ処理の具体例
図６は、リサイズ操作部によるリサイズ処理の具体例を示す図であり、中間データのサイズを拡大するリサイズ処理を行う際に使用されるメモリ量を説明するための図である。図６に示すように、リサイズ操作部４２０では、逆ＤＣＴ部３４０による逆ＤＣＴ処理の際、例えば、輝度情報（Ｙ）については、１６画素×１６画素のブロックずつ、逐次的にリサイズ処理を行う。なお、図６の例は、ブロック６００が、リサイズ処理を行う対象ブロックである。

Ｂｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ法やＮｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ法の場合、ブロック６００のサイズを拡大するリサイズ処理を行うにあたっては、
・当該ブロック６００と、
・隣接する左側ブロックの最終列（６０２）と、
・隣接する上側ブロックの最終行（６０１）と、
をメモリに保存する。

したがって、ブロック６００のサイズを拡大するリサイズ処理を行うにあたり、
・１６画素×１６画素×３（Ｙ、Ｃｒ、Ｃｂ）、
・１６画素×１列×３（Ｙ、Ｃｒ、Ｃｂ）、
・１９２０画素×１行×３（Ｙ、Ｃｒ、Ｃｂ）、
をメモリに保存する。つまり、リサイズ操作部４２０では、１０２４［ＫＢ］分のメモリを使用しながら、１６画素×１６画素のブロックずつ、逐次的にリサイズ処理を行う。

このように、リサイズ操作部４２０では、中間データのサイズを拡大するリサイズ処理を、省メモリで実現することができる。

（３）フリップ操作部による反転処理の具体例
図７は、フリップ操作部による反転処理の具体例を示す図である。図７に示すように、フリップ操作部４３０が、色変換部３７０の後段の位置に配置された場合、フリップ操作部４３０には、ＲＧＢ形式の画像データが入力される。このとき、フリップ操作部４３０では、ＲＧＢ形式の画像データの各画素の読み出しを、例えば、読み出し方向を逆方向（右端の画素から左端の画素の方向）にして行う。これにより、フリップ操作部４３０では、入力されたＲＧＢ形式の画像データを、左右反転して出力することができる。

＜前処理コアの実行例＞
次に、前処理コア１１２の実行例について説明する。図８は、前処理コアの実行例を示す図である。図８に示すように、ＩＯ１１１が補助記憶装置１０３よりＪＰＥＧファイル２８０を読み出すと、前処理コア１１２では、データ拡張処理が施された解凍データを生成する。なお、図８において、解凍データ８００は、ＪＰＥＧファイル２８０に対してデータ拡張処理を施すことなく解凍処理を行った場合の解凍データを示している。

一方、図８において、解凍データ８０１〜８０７は、データ拡張処理が施された解凍データの一例である。このうち、データ拡張処理が施された解凍データ８０１は、ＪＰＥＧファイル２８０を解凍する際、切り出し操作部４１０による切り出し処理が行われた解凍データである。具体的には、データ拡張処理が施された解凍データ８０１は、解凍データ８００の一部に相当する画像データである。

また、データ拡張処理が施された解凍データ８０２は、ＪＰＥＧファイル２８０を解凍する際、リサイズ操作部４２０によりサイズを縮小するリサイズ処理が行われた解凍データである。具体的には、データ拡張処理が施された解凍データ８０２は、解凍データ８０１を縮小した画像データに相当する画像データである。

また、データ拡張処理が施された解凍データ８０３は、ＪＰＥＧファイル２８０を解凍する際、フリップ操作部４３０による反転処理が行われた解凍データである。具体的には、データ拡張処理が施された解凍データ８０３は、解凍データ８００の左右を反転させた画像データに相当する画像データである。

また、データ拡張処理が施された解凍データ８０４は、ＪＰＥＧファイル２８０を解凍する際、
・切り出し操作部４１０による切り出し処理、及び、
・フリップ操作部４３０による反転処理、
が行われた解凍データである。具体的には、データ拡張処理が施された解凍データ８０４は、解凍データ８００の一部を切り出し、左右反転させた画像データに相当する画像データである。

また、データ拡張処理が施された解凍データ８０５は、ＪＰＥＧファイル２８０を解凍する際、
・切り出し操作部４１０による切り出し処理、及び、
・リサイズ操作部４２０によりサイズを縮小するリサイズ処理、
が行われた解凍データである。具体的には、データ拡張処理が施された解凍データ８０５は、解凍データ８００の一部を切り出し、縮小した画像データに相当する画像データである。

また、データ拡張処理が施された解凍データ８０６は、ＪＰＥＧファイル２８０を解凍する際、
・リサイズ操作部４２０によりサイズを縮小するリサイズ処理、及び、
・フリップ操作部４３０による反転処理、
が行われた解凍データである。具体的には、データ拡張処理が施された解凍データ８０６は、解凍データ８００を縮小して左右を反転させた画像データに相当する画像データである。

また、データ拡張処理が施された解凍データ８０７は、ＪＰＥＧファイル２８０を解凍する際、
・切り出し操作部４１０による切り出し処理、及び
・リサイズ操作部４２０によりサイズを縮小するリサイズ処理、及び
・フリップ操作部４３０による反転処理、及び
が行われた解凍データである。具体的には、データ拡張処理が施された解凍データ８０７は、解凍データ８００の一部を切り出し、縮小して左右を反転させた画像データに相当する画像データである。

このように、前処理コア１１２では、ＪＰＥＧファイル２８０を解凍する際に、あわせてデータ拡張処理を施す。このため、ＪＰＥＧファイルに対する解凍処理が完了した後にデータ拡張処理を施す場合と比較して、データ拡張処理が施された解凍データを生成する際の処理効率を向上させることができる。

＜まとめ＞
以上の説明から明らかなように、サーバ装置１００では、訓練用プロセッサ（訓練装置）に前処理コア（データ生成装置）を設け、ＣＰＵを介することなく、前処理コアにてデータ拡張処理が施された解凍データを生成する構成とした。その際、前処理コア（データ生成装置）では、ＪＰＥＧファイルに対する解凍処理が完了してから、データ拡張処理を施す代わりに、
・ＪＰＥＧファイルを解凍する際、解凍完了前の中間データを操作し、
・操作された中間データから解凍データを生成する、
構成とした。

これにより、第１の実施形態に係る前処理コア（データ生成装置）によれば、圧縮ファイルから解凍データを生成する際の、処理効率を向上させることが可能になる。

また、第１の実施形態に係る訓練用プロセッサ（訓練装置）では、データ拡張処理が施された解凍データを用いて訓練用モデルの訓練を行うことができるよう、
・圧縮ファイルを読み出すＩＯ（入力デバイス）と、
・ＪＰＥＧファイルを解凍する際、解凍完了前の中間データを操作し、操作した中間データから解凍データを生成する前処理コア（生成デバイス）と、
・生成された解凍データを入力して、深層ニューラルネットワークを実行するＤＮＮアクセラレータコア（アクセラレータ）と、
を配する構成とした。

これにより、第１の実施形態に係る訓練用プロセッサ（訓練装置）によれば、圧縮ファイルから解凍データを生成する際の、処理効率を向上させることが可能になるとともに、生成した解凍データを用いて訓練用モデルの訓練を行うことが可能になる。

［第２の実施形態］
上記第１の実施形態では、前処理コア１１２を訓練用プロセッサ１０４に搭載するものとして説明した。しかしながら、前処理コア１１２は、訓練用プロセッサ１０４とは別体の装置として設けられてもよい。

また、上記第１の実施形態では、前処理コア１１２により生成された、データ拡張処理が施された解凍データを、訓練用のデータとして用いる際のメモリレイアウト（Ｎ（番号）、Ｃ（チャネル）、Ｈ（高さ）、Ｗ（幅）の順番）については特に言及しなかった。

しかしながら、前処理コア１１２により生成された、データ拡張処理が施された解凍データを、訓練用のデータとして用いる際、訓練に適したメモリレイアウトに並び替える構成としてもよい。なお、並び替えは、例えば、ＣＰＵ１０１が実行してもよい。その場合、前処理コア１１２は、ＤＮＮアクセラレータコア１１４の入力フォーマットに応じた出力フォーマットで解凍データを出力するように構成される。前処理コア１１２は、生成データがストリーム（逐次的）に出力されるため、任意のメモリレイアウトに制御することができる（当該メモリレイアウトは、訓練用プロセッサ１０４において厳密に制御される）。なお、メモリレイアウトの制御は、上記のようにＣＰＵ１０１により実行されてもよいが、前処理コア１１２に直接組み込まれた機能により実行されてもよい。

また、上記第１の実施形態では、前処理コア１１２により生成された、データ拡張処理が施された解凍データを、訓練用のデータとして用いるものとして説明したが、推論用のデータとして用いてもよい。なお、推論用のデータとして用いる場合にあっては、前処理コア１１２により生成された、データ拡張処理が施された解凍データを、（メモリ１１３ではなく）ＤＮＮアクセラレータコア１１４に直接入力するように構成してもよい。

また、上記第１の実施形態では、圧縮ファイルとして、ＪＰＥＧファイルを用いる場合について説明したが、ＪＰＥＧファイル以外の圧縮ファイルを用いてもよい。

［その他の実施形態］
本明細書（請求項を含む）において、「ａ、ｂおよびｃの少なくとも１つ（一方）」又は「ａ、ｂ又はｃの少なくとも１つ（一方）」の表現（同様な表現を含む）が用いられる場合は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、又はａ−ｂ−ｃのいずれかを含む。また、ａ−ａ、ａ−ｂ−ｂｂ、ａ−ａ−ｂ−ｂ−ｃ−ｃ等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、ａ−ｂ−ｃ−ｄのようにｄを有する等、列挙された要素（ａ、ｂ及びｃ）以外の他の要素を加えることも含む。

また、本明細書（請求項を含む）において、「データを入力として／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）が用いられる場合は、特に断りがない場合、各種データそのものを入力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を入力として用いる場合を含む。また「データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合、当該データのみに基づいて当該結果が得られる場合を含むとともに、当該データ以外の他のデータ、要因、条件、及び／又は状態等にも影響を受けて当該結果が得られる場合をも含み得る。また、「データを出力する」旨が記載されている場合、特に断りがない場合、各種データそのものを出力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を出力とする場合も含む。

また、本明細書（請求項を含む）において、「接続される（connected）」及び「結合される（coupled）」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的（electrically）な接続／結合、通信的（communicatively）な接続／結合、機能的（operatively）な接続／結合、物理的（physically）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。

また、本明細書（請求項を含む）において、「ＡがＢするよう構成される（A configured to B）」との表現が用いられる場合は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（permanent）又は一時的（temporary）な設定（setting/configuration）が、動作Ｂを実際に実行するように設定（configured/set）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（permanent）又は一時的（temporary）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（configured）されていればよい。また、要素Ａが専用プロセッサ又は専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造が動作Ｂを実際に実行するように構築（implemented）されていればよい。

また、本明細書（請求項を含む）において、含有又は所有を意味する用語（例えば、「含む（comprising/including）」及び「有する（having）」等）が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。

また、本明細書（請求項を含む）において、ある箇所において「１つ又は複数（one or more）」又は「少なくとも１つ（at least one）」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。

また、本明細書において、ある実施例の有する特定の構成について特定の効果（advantage/result）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つ又は複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の要因、条件、及び／又は状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件、及び／又は状態等が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。

また、本明細書（請求項を含む）において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書（請求項を含む）において、「１又は複数のハードウェアが第１の処理を行い、前記１又は複数のハードウェアが第２の処理を行う」等の表現が用いられている場合、第１の処理を行うハードウェアと第２の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第１の処理を行うハードウェア及び第２の処理を行うハードウェアが、前記１又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、又は、電子回路を含む装置等を含んでよい。

また、本明細書（請求項を含む）において、複数の記憶装置（メモリ）がデータの記憶を行う場合、複数の記憶装置（メモリ）のうち個々の記憶装置（メモリ）は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。

以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更、置き換え及び部分的削除等が可能である。例えば、前述した全ての実施形態において、説明に用いた数値は、一例として示したものであり、これらに限られるものではない。また、実施形態における各動作の順序は、一例として示したものであり、これらに限られるものではない。

１００ ：サーバ装置
１０１ ：プロセッサ
１０２ ：主記憶装置
１０３ ：補助記憶装置
１０４ ：訓練用プロセッサ
１０５ ：ネットワークインタフェース
１０６ ：デバイスインタフェース
１１１ ：ＩＯ
１１２ ：前処理コア
１１３ ：メモリ
１１４ ：ＤＮＮアクセラレータコア
４１０ ：切り出し操作部
４２０ ：リサイズ操作部
４３０ ：フリップ操作部
８０１〜８０７ ：解凍データ

Claims (7)

1. 圧縮ファイルを解凍するデータ生成装置であって、
   解凍完了前の中間データを操作する操作部と、
   操作された前記中間データから解凍データを生成する生成部と
   を有するデータ生成装置。
2. 前記操作部は、少なくとも、
   前記中間データの一部を切り出す切り出し操作部、
   前記中間データのサイズを変更するリサイズ操作部、
   前記中間データを反転するフリップ操作部
   のいずれかを有する、請求項１に記載のデータ生成装置。
3. 前記圧縮ファイルがＪＰＥＧファイルである場合、前記切り出し操作部は、少なくとも、該ＪＰＥＧファイルをハフマン復号した後の中間データの一部を切り出す、請求項２に記載のデータ生成装置。
4. 前記圧縮ファイルがＪＰＥＧファイルである場合、前記リサイズ操作部は、前記中間データを逆ＤＣＴ処理する際に、前記中間データのサイズを変更する、請求項２に記載のデータ生成装置。
5. 前記圧縮ファイルがＪＰＥＧファイルである場合、前記フリップ操作部は、少なくとも逆ＤＣＴ処理された後の中間データを反転する、請求項２に記載のデータ生成装置。
6. 圧縮ファイルを読み出す入力デバイスと、
   読み出した圧縮ファイルを解凍する際に、解凍完了前の中間データを操作し、操作した該中間データから解凍データを生成する生成デバイスと、
   生成された解凍データを入力して、深層ニューラルネットワークを実行するアクセラレータと
   を有する訓練装置。
7. 圧縮ファイルを解凍するデータ生成装置におけるデータ生成方法であって、
   解凍完了前の中間データを操作する操作工程と、
   操作された前記中間データから解凍データを生成する生成工程と
   を有するデータ生成方法。

Images