JP2021064882A - 認識装置、認識方法 - Google Patents

Abstract

【課題】認識処理において行われる処理に適したデータ変換を実現可能な技術を提供する。【解決手段】認識装置は、センサ回路部１０と、該センサ回路部１０から出力されたデータを変換する変換回路部２０と、該変換回路部２０が変換したデータに基づいて認識処理を行うＣＮＮ回路部３０とを備える。、該変換回路部２０の変換特性は、該認識処理のパラメータの学習処理に基づいて決定される。【選択図】図１

Description

本発明は、認識技術に関するものである。

認識機能を実現する手法として、認識対象とするデータに対し、学習処理によりパラメータを決定した認識処理を実行するものが広く提案されている。ここで、「学習処理によりパラメータを決定した認識処理」としては、例えばニューラルネットワーク技術を応用したものが知られている。

ニューラルネットワーク技術を応用したものの例としては、階層型畳み込みニューラルネットワークがあり、認識対象の変動に対して頑健なパターン認識を可能にする技術として知られている。このような技術を適用した例として、特許文献１に、画像データを用いた顔認識を行う技術が提案されている。

これらの認識処理を応用した認識装置においては、一般的にイメージセンサを内蔵するカメラにより取得した画像データや、音声センサを内蔵するマイクロホンにより取得した音声データを、認識処理に対する入力として、認識処理を行う。

例えば、画像データに関しては、カメラに内蔵されたイメージセンサによって取得したセンサデータに対して所定の変換処理を適用し、変換後の画像データを認識処理に入力する。変換処理としては、カメラ内で実行されるＡ／Ｄ変換処理、ノイズ除去処理、および現像処理が含まれる。また音声データに関しても、音声センサからの出力データに対して、Ａ／Ｄ変換処理を含む所定の変換処理を実行して音声データに変換した後に、認識処理に入力する。この場合、認識処理に入力される画像または音声等のデータは、一般的にはヒトの視覚機能または聴覚機能に適した変換処理が施されたデータとなる。

また一方で、センサから出力されるデータに対する変換処理を適応的に制御する技術が提案されている。例えば、特許文献２には、Ａ／Ｄ変換特性を温度に関わらず基準変換特性に近づけるように補正するために、温度に基づいて基準電圧特性を制御する方法が開示されている。具体的には、特許文献２では、センサから出力される信号をＡ／Ｄ変換する際に、周囲環境の温度変化によらず常に所定のＡ／Ｄ変換特性を実現可能にする、基準電圧特性の制御方法を提供する。

特開平１０−０２１４０６号公報 特開２０１１−２２９１０２号公報

以上説明したように、センサで取得した信号に対して所定の変換処理を実行したデータを入力データとし、学習処理により決定したパラメータに基づいて認識処理を実行する認識装置が提案されている。

しかしながら上記の提案の場合、認識処理に入力される画像または音声等のデータは、センサで取得した信号に対して、ヒトの視覚機能または聴覚機能に適したデータに変換する変換処理が施されたデータであり、認識処理にて行われる処理に適した変換処理が施されたものではない。また、前述したように、センサで取得した信号に対して、所定の特性を満たすようにＡ／Ｄ変換特性を制御する方法が提案されているものの、この提案は、該信号に対して、認識処理で実行する処理に適するようにＡ／Ｄ変換特性を制御するものではなかった。本発明では、認識処理において行われる処理に適したデータ変換を実現可能な技術を提供する。

本発明の一様態は、センサ部と、前記センサ部から出力されたデータを変換する変換部と、前記変換部が変換したデータに基づいて認識処理を行う認識部とを備え、前記変換部の変換特性は、前記認識処理のパラメータの学習処理に基づいて決定されることを特徴とする。

本発明の構成によれば、認識処理において行われる処理に適したデータ変換を実行することができる。

認識装置のハードウェア構成例を示すブロック図。 認識装置の動作を示すフローチャート。 変換回路部２０の詳細を説明する図。 変換回路部２０の詳細を説明する図。 変換回路部２０の詳細を説明する図。 基準電圧波形の電圧特性の一例を示す図。 Ａ／Ｄ変換回路２１ａにおける入出力特性の一例を示す図。 ＣＮＮの畳み込み演算層で実行される演算処理の一例を示す図。 バックプロパゲーション処理を説明する図。 基準電圧波形の電圧特性の一例を示す図。 基準電圧波形の電圧特性の一例を示す図。 変換回路部２０の詳細を説明する図。 認識装置の構成例を示す図。 認識装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
先ず、本実施形態に係る認識装置のハードウェア構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係る認識装置は、入力画像に対し、階層型畳み込みニューラルネットワーク演算回路を用いた２次元の畳み込み演算を行うことで、該入力画像から特定の物体を認識する認識処理を実現する。

図１に示す如く、本実施形態に係る認識装置は、センサ回路部１０、変換回路部２０、ＲＡＭ１０２，ＣＮＮ回路部３０、ブリッジ１００、ＤＭＡＣ（Direct Memory Access Controller）１０１を有する。また、本実施形態に係る認識装置は、ＣＰＵ１０３、ＲＯＭ１０４、ＲＡＭ１０５を有する。

センサ回路部１０、変換回路部２０、ＣＮＮ回路部３０、ＲＡＭ１０２、ＤＭＡＣ１０１が画像バス１０６を介して互いに接続されており、ＣＰＵ１０３、ＲＯＭ１０４、ＲＡＭ１０５がＣＰＵバス１０７を介して互いに接続されている。また、ブリッジ１００を介して画像バス１０６とＣＰＵバス１０７との間のデータ転送が可能となっている。

センサ回路部１０は、光学系、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の光電変換デバイス、該光電変換デバイスを制御するドライバー回路、を有するセンサ部である。光学系を介して入光した光は光電変換デバイスにてアナログ画像信号（アナログ画像データ）に変換され、該アナログ画像データは変換回路部２０に対して出力される。

変換回路部２０は、Ａ／Ｄ変換回路及びフレームバッファを有する変換部である。センサ回路部１０から出力されたアナログ画像データはＡ／Ｄ変換回路にてディジタル画像データ（ディジタル画像信号）に変換され、該変換されたディジタル画像データはフレームバッファに格納される。センサ回路部１０からフレーム単位でアナログ画像データが出力される場合、変換回路部２０は、該フレーム単位のアナログ画像データをディジタル画像データに変換してフレームバッファに格納する。つまり、フレームバッファには、フレーム単位でディジタル画像データが格納されている。

ＣＮＮ回路部３０は、階層型畳み込みニューラルネットワーク（以下、ＣＮＮと称する）の演算処理を行う回路（階層型畳み込みニューラルネットワーク演算回路）である。ＣＮＮ回路部３０は、変換回路部２０のフレームバッファに格納されているディジタル画像データをフレーム単位で読み出す。そしてＣＮＮ回路部３０は、該読み出したディジタル画像データをＣＮＮに入力して該ＣＮＮの演算処理を行うことで、該ディジタル画像データが表すフレーム画像から、認識対象となる物体を認識する。つまりＣＮＮ回路部３０は認識部として機能する。ＲＡＭ１０２は、ＣＮＮ回路部３０が各種の処理を行う際に用いる演算作業バッファとして使用される。ＤＭＡＣ１０１は、画像バス１０６上の変換回路部２０、ＣＮＮ回路部３０、ＣＰＵバス１０７の間のデータ転送を司る。

ＣＰＵ１０３は、ＲＯＭ１０４からＲＡＭ１０５にロードしたコンピュータプログラムやデータを用いて認識装置全体の動作制御を行うと共に、認識装置が行うものとして後述する各処理を実行若しくは制御する。なお、ＣＰＵ１０３は、ブリッジ１００を介して画像バス１０６上のＲＡＭ１０２にアクセスすることも可能である。

ＲＯＭ１０４には、各種のコンピュータプログラムやデータが格納されている。ＲＯＭ１０４に格納されているコンピュータプログラムには、ＣＰＵ１０３の動作を規定する命令を含むコンピュータプログラムが含まれている。また、ＲＯＭ１０４に格納されているデータには、ＣＮＮ回路部３０の動作パラメータが含まれている。このように、ＲＯＭ１０４には、認識装置が行うものとして後述する各処理を実現させるためのコンピュータプログラムやデータが格納されている。

ＲＡＭ１０５は、ＲＯＭ１０４からロードされたコンピュータプログラムやデータを格納するためのエリアや、ＣＰＵ１０３が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０５は、各種のエリアを適宜提供することができる。

次に、本実施形態に係る認識装置の動作について、図２のフローチャートに従って説明する。ステップＳ５０では、ＣＰＵ１０３は、物体の認識処理の開始に先立ち、各種の初期化処理を実行する。例えば、ＣＰＵ１０３は、ＣＮＮ回路部３０の動作に必要なＣＮＮの重み係数をＲＯＭ１０４からＲＡＭ１０２に転送すると共に、ＣＮＮ回路部３０の動作、即ちＣＮＮの構成を定義する為の各種レジスタ設定を行う。具体的には、ＣＮＮ回路部３０の制御部に存在する複数のレジスタに所定の値を設定する。同様に、変換回路部２０等のレジスタに対しても動作に必要な値を書き込む。

ステップＳ５１では、センサ回路部１０は、光学系を介して入光した光を光電変換デバイスにてアナログ画像データに変換し、該変換したアナログ画像データを変換回路部２０に対して出力する。

ステップＳ５２では、変換回路部２０は、センサ回路部１０から出力されたアナログ画像データをＡ／Ｄ変換回路にてディジタル画像データに変換し、該ディジタル画像データをフレームバッファに格納する。変換回路部２０は、１フレーム分のアナログ画像データをディジタル画像データに変換してフレームバッファに格納する処理が完了すると、完了信号を有効にする。

ステップＳ５３およびステップＳ５４の処理は、完了信号が有効になると実行される。ステップＳ５３では、ＣＮＮ回路部３０は、フレームバッファに格納されている１フレーム分のディジタル画像データを読み出し、該読み出したディジタル画像データをＣＮＮに入力して該ＣＮＮの各特徴面について演算処理（畳み込み演算処理）を行う。この畳み込み演算処理は、例えば図８に示す如く、特徴面３４単位で行う。なお、畳み込み演算処理の内容については後述する。

ステップＳ５４では、ＣＮＮ回路部３０は、ＣＮＮにおける全ての特徴面について畳み込み演算処理を行ったか否かを判断する。この判断の結果、ＣＮＮにおける全ての特徴面について畳み込み演算処理を行った場合（図３の場合、最終出力面４１の算出を終了した場合）には、処理はステップＳ５５に進む。一方、ＣＮＮにおいて未だ畳み込み演算処理を行っていない特徴面が残っている場合には、処理はステップＳ５３に進み、ＣＮＮ回路部３０は、未だ畳み込み演算処理を行っていない特徴面について畳み込み演算処理を行う。

ステップＳ５５では、ＣＮＮ回路部３０は、ＣＰＵ１０３に対して割り込み信号を出力する。ステップＳ５６では、ＣＰＵ１０３は、認識処理を終了するための条件が満たされたか否かを判断する。例えば、認識処理を終了する旨の指示がユーザ操作によって入力された場合や、フレームバッファに認識処理を行ったフレーム画像が残っていない場合には、上記の条件が満たされたと判断する。

このような判断の結果、認識処理を終了するための条件が満たされた場合には、図２のフローチャートに従った処理は終了する。一方、認識処理を終了するための条件が満たされていない場合には、処理はステップＳ５１に進む。

次に、変換回路部２０の詳細について、図３〜５を用いて説明する。図３は、センサ回路部１０が有する光電変換デバイスの一例としてのセンサ素子回路１１の構成、変換回路部２０に含まれるＡ／Ｄ変換回路２１ａ〜２１ｃ、ＣＮＮ回路部３０の構成、に関し、実行する処理と機能を説明するために模式的に示したものである。

センサ素子回路１１は、フォトダイオードの２次元配列（センサ素子面）である。変換回路部２０は、センサ素子回路１１から列単位で並列に読み出した電圧をＡ／Ｄ変換して出力するべく、Ａ／Ｄ変換回路２１ａ〜２１ｃを有する。Ａ／Ｄ変換回路２１ａ〜２１ｃはそれぞれ、ＣＮＮ回路部３０にて実装されているＣＮＮの入力特徴面３１ａ〜３１ｃにディジタル画像データを供給するべく設けられている。Ａ／Ｄ変換回路２１ａ〜２１ｃのそれぞれの詳細な構成については図４を用いて後述する。

なお、ＣＮＮ回路部３０は、実際には半導体基板上の電子回路として構成されるが、図３では、実際の回路構成では無く、ＣＮＮによる畳み込み演算処理の処理内容を理解し易いように、実現する機能としてのＣＮＮの構成を示している。

＜ステップＳ６０＞
ステップＳ６０における変換回路部２０の動作について説明する。先ず、露光状態にあるセンサ素子回路１１（センサ素子面）におけるそれぞれのフォトダイオードには、受光した光に応じた電荷が蓄積される。変換回路部２０は、センサ素子回路１１に蓄積されている電荷を電圧として読み出してＡ／Ｄ変換回路２１ａ〜２１ｃのそれぞれに入力する。センサ素子回路１１からの電圧の読み出しは列単位で並列に行われるものとする。

図３では、センサ素子回路１１から列単位で読み出された電圧が、ＣＮＮ回路部３０における入力特徴面３１ａ〜３１ｃのそれぞれについて設けられた、Ａ／Ｄ変換回路２１ａ〜２１ｃに入力される様子を模式的に示している。実際には、Ａ／Ｄ変換回路は、フォトダイオードの２次元配列における列の数だけ設けられ、フォトダイオードの２次元配列における各列の電圧が、対応するＡ／Ｄ変換回路に入力される。また、ＣＮＮ回路部３０における入力特徴面の数もまた、フォトダイオードの２次元配列における列の数だけ設けられ、着目列に対応するＡ／Ｄ変換回路からの出力は、着目列に対応する入力特徴面に入力される。

Ａ／Ｄ変換回路２１ａ〜２１ｃの構成例を図４に示す。図４は、変換回路部２０の構成例を示すブロック図である。Ａ／Ｄ変換回路２１ａはコンパレータ２２ａ、カウンタ２３ａ、データラッチ回路２４ａを有する。Ａ／Ｄ変換回路２１ｂはコンパレータ２２ｂ、カウンタ２３ｂ、データラッチ回路２４ｂを有する。Ａ／Ｄ変換回路２１ｃはコンパレータ２２ｃ、カウンタ２３ｃ、データラッチ回路２４ｃを有する。以下ではＡ／Ｄ変換回路２１ａの動作について説明するが、同様の説明はＡ／Ｄ変換回路２１ｂおよびＡ／Ｄ変換回路２１ｃにも適用可能である。

コンパレータ２２ａには、Ａ／Ｄ変換回路２１ａに入力された電圧が入力電圧として入力される。また、コンパレータ２２ａには、基準電圧生成回路２５が生成した基準電圧波形も入力される。

＜ステップＳ６１＞
次に、ステップＳ６１における変換回路部２０の動作について説明する。コンパレータ２２ａは、入力電圧と、基準電圧波形と、を比較する。基準電圧波形は、例えば、図６および以降に示す式（１）のように時間的に単調増加する電圧特性を有している。

現時点で、入力電圧と基準電圧波形とで電圧値が等しくない場合はステップＳ６２を介してステップＳ６１に戻り、入力電圧と基準電圧波形とで電圧値が等しくなった時点でステップＳ６２を介してステップＳ６３に進む。コンパレータ２２ａは、入力電圧と基準電圧波形とで電圧値が等しくなった時点で出力パルス信号を反転させる。

＜ステップＳ６３＞
カウンタ２３ａは、基準電圧波形の開始タイミングから、クロック信号のパルス数をカウントした値（カウント値）を出力する。データラッチ回路２４ａは、コンパレータ２２からの出力パルス信号が反転するタイミングで、カウンタ２３から出力されるカウント値を保持する。これにより、入力電圧の電圧値がディジタル画像データとして変換される。然るにデータラッチ回路２４ａは、この変換したディジタル画像データをフレームバッファに保持しておき、所定の行数分のディジタル画像データが保持された時点で該所定の行数分のディジタル画像データをＣＮＮ回路部３０の入力特徴面３１ａに出力する。

なお、上記の説明における「所定の行数」は、ＣＮＮ回路部３０における並列処理単位によって決定されるものであり、特定の値に限らない。本実施形態では一例として、センサ素子回路１１の全面分（全行数分）のディジタル画像データがフレームバッファに格納された時点で、各行のディジタル画像データがＣＮＮ回路部３０におけるそれぞれの入力特徴面に入力されるものとする。

次に、Ａ／Ｄ変換回路２１ａの動作についてより詳細に説明する。上記の如く、Ａ／Ｄ変換回路２１ａは、基準電圧波形の波形特性に応じてアナログ画像データ（読み出された電圧）をディジタル画像データに変換する。ここで、本実施形態では、基準電圧波形は以下の式（１）（図６）で示されるものとする。

式（１）において、ｔは時間（カウンタ値に相当）を示し、ｖは基準電圧波形の電圧値を示す。パラメータα、β、γは基準電圧波形を規定するパラメータであり、後述するように、ＣＮＮのパラメータを決定するための学習処理において算出され、図３のＡ／Ｄ変換回路ごとに異なる値を取り得る。なお、Ａ／Ｄ変換回路２１ａにおける入出力特性は、式（１）の逆関数として、以下の式（２）（図７）で示される。

式（２）において、ｖ_ｉｎは入力アナログ電圧値を示し、ｄ_ｏｕｔは出力ディジタル値を示す。続いて、基準電圧波形のパラメータα、β、γおよびＣＮＮのパラメータを算出する学習処理に関して説明を行う。まず、ＣＮＮの畳み込み演算層で実行される演算処理を図８および式（３）に示す。

式（３）において、ｘは入力データ、ｙは出力データ、ｗは畳み込みフィルタ、ｖは畳み込みフィルタの高さ、ｈは畳み込みフィルタの幅、ｍは前段層特徴面インデックス、ｎは後段層特徴面インデックス、ｉは演算位置ｙ座標、ｊは演算位置ｘ座標を示す。また、ｋは畳み込みフィルタｙ座標、ｌ（ｔ）は畳み込みフィルタｘ座標を示す。

ＣＮＮにおいて、図８の階層３３の特徴面３４を算出する場合、式（３）において入力データは図８に示した階層３２の特徴面３５〜３７となり、フィルタ３８〜４０による畳み込み演算を画素単位で走査しながら繰り返す。本実施形態では説明を省略するが、一般的には畳み込み演算結果に対して非線形変換を実行する。なお、ＣＮＮの演算処理は、一般的に良く知られた手法であるため、これ以上の詳細な説明を省略する。

続いて本実施形態では、ＣＮＮのパラメータｗ、ｂおよび基準電圧波形のパラメータα、β、γを一般的な学習処理であるバックプロパゲーション処理により算出する。図９に示す如く、バックプロパゲーション処理においては、損失関数として定義される、ＣＮＮの出力と期待値との誤差を認識処理実行時とは逆方向に伝搬させることでパラメータを学習する。なお学習処理は、認識装置とは別個の装置において行われる。またその際には、認識結果に対する正解情報が付与された、学習処理に用いるための、変換回路に対する入力データ（所望の被写体を撮像したセンサ回路からのアナログ電圧値に対応するデータ）が用意されているものとする。なお、学習用のデータ生成方法としては、一般的なカメラで撮像された認識結果に対する正解情報を有する画像に対して、現像処理等の画像処理の逆変換を適用する手法が考えられる。または、カメラで撮像する際に、画像処理を適用したヒトが視認可能な画像と共に、センサ回路からの出力電圧値を外部に読み出すことで、それぞれが対応する画像セットを生成することが出来る。認識結果に対する正解情報はヒトが視認可能な画像を用いて設定することにより、認識装置で必要となる学習データを生成することが可能となる。

まずＣＮＮのパラメータｗ、ｂは、バックプロパゲーション処理に基づいて、それぞれ以下の式（４）および（５）に基づいて更新される。なお、以降の式において、ＥはＣＮＮにおける損失関数を示している。

損失関数としては、一般的なバックプロパゲーション手法と同様に、どのような関数を用いても良いが、本実施形態では一例として以下の式（６）に示す、交差エントロピー誤差を用いる。

式（６）において、ｋは教師データのインデックス、ｔ_ｋは教師データ、ｙ_ｋはＣＮＮの最終層の出力値（認識結果）を示す。また上式において、各階層から逆伝搬される誤差は、以下の式（７）に基づいて算出される。

一方、パラメータα、β、γは、バックプロパゲーション処理に基づいて、それぞれ以下の式（８）、式（９）、式（１０）に基づいて更新される。

以上のバックプロパゲーション処理により、パラメータの更新を、前述した学習処理用の入力データに対して繰り返し実行することで、入力データに基づく、認識処理に適したＣＮＮのパラメータｗ、ｂ及び基準電圧波形のパラメータα、β、γが算出される。

そして、算出された基準電圧波形のパラメータα、β、γを用いて式（１）に基づき基準電圧波形を事前に決定（取得）しておき、該基準電圧波形のデータ（波形データ）をルックアップテーブルの形式でＲＯＭ１０４に保持しておく。そして認識装置において認識処理を実行する際には基準電圧生成回路２５が、ルックアップテーブル形式の波形データを元にして、時間的に変化するアナログ電圧波形を基準電圧波形（変換特性）として生成し、該生成した基準電圧波形をコンパレータに供給する。

また、基準電圧波形の生成方法としては、ＲＯＭ１０４内にパラメータα、β、γを保持しておき、基準電圧生成回路２５がこれらのパラメータα、β、γを用いて式（１）に基づいて基準電圧波形を生成しても構わない。またＣＮＮのパラメータｗ、ｂはＲＯＭ１０４に保持され、認識処理実行時に随時、ＣＮＮ回路部３０に設定されて認識処理が実行される。

以上説明したように、本実施形態では、ＣＮＮの特徴面毎に、異なる基準電圧波形に基づいてＡ／Ｄ変換されたディジタル画像データが入力されることになる。それぞれの基準電圧波形は、前述したように学習処理によって決定したものであり、認識処理に適した特性を有するものである。従って、本実施形態に係る認識装置は、センサ素子回路の出力に対してより認識に適した変換処理を実行することが可能となり、また、本来認識処理に対しては必須では無い現像処理等の画像処理に関わる回路を削減することが可能となる。

＜変形例 … 基準電圧波形の関数（線形関数）＞
第１の実施形態では、基準電圧波形の波形特性として式（１）、（２）に示したものを用いたが、これらに限定されるものではない。例えば、以下の式（１１）、（１２）に示される波形特性を有する基準電圧波形を用いても構わないし、その他の波形特性を有する基準電圧波形を用いても構わない（それぞれの波形を図１０および図１１に示す）。

なお、式（１１）、（１２）で示される波形特性を有する基準電圧波形を用いる場合、そのパラメータα、βは、第１の実施形態と同様に、ＣＮＮの一般的な学習処理であるバックプロパゲーション処理により算出する。この場合、α、βはそれぞれ以下の式に基づいて更新される。

このように、本変形例においても、第１の実施形態と同様の効果を奏することができる。

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。図１２は、センサ素子回路１１の構成と、変換回路部２０に含まれるＡ／Ｄ変換回路７０ａ、７０ｂ、７１ａ、７１ｂと、ＣＮＮ回路部３０の構成と、に関し、実行する処理と機能を説明するために模式的に示したものである。

入力特徴面３１ａを規定行数を単位に２つのブロック（上側のブロックは入力特徴面７２ａ、下側のブロックは入力特徴面７３ａ）に分割した場合において、入力特徴面７２ａについてはＡ／Ｄ変換回路７０ａが設けられている。また、入力特徴面７３ａについてはＡ／Ｄ変換回路７１ａが設けられている。

同様に、入力特徴面３１ｂを規定行数を単位に２つのブロック（上側のブロックは入力特徴面７２ｂ、下側のブロックは入力特徴面７３ｂ）に分割した場合において、入力特徴面７２ｂについてはＡ／Ｄ変換回路７０ｂが設けられている。また、入力特徴面７３ｂについてはＡ／Ｄ変換回路７１ｂが設けられている。

このように、本実施形態では第１の実施形態と同様に、ＣＮＮ回路部３０における入力特徴面は、フォトダイオードの２次元配列における列の数だけ設けられているが、該入力特徴面は規定行数を単位に２つのブロックに分割されている。そして変換回路部２０が有するＡ／Ｄ変換回路は、該ブロックごとに設けられている。

よって、図１２の構成の場合、Ａ／Ｄ変換回路７０ａ、７０ｂ、７１ａ、７１ｂのそれぞれで独立に、基準電圧波形の波形特性を設定することが可能である。そして、センサ素子回路１１において、入力特徴面３１ａに対応する列の上側のブロックに対応する行の電圧はＡ／Ｄ変換回路７０ａに入力され、該列の下側のブロックに対応する行の電圧はＡ／Ｄ変換回路７１ａに入力される。そしてＡ／Ｄ変換回路７０ａからの出力は入力特徴面７２ａに対して出力され、Ａ／Ｄ変換回路７１ａからの出力は入力特徴面７３ａに対して出力される。同様に、センサ素子回路１１において、入力特徴面３１ｂに対応する列の上側のブロックに対応する行の電圧はＡ／Ｄ変換回路７０ｂに入力され、該列の下側のブロックに対応する行の電圧はＡ／Ｄ変換回路７１ｂに入力される。そしてＡ／Ｄ変換回路７０ｂからの出力は入力特徴面７２ｂに対して出力され、Ａ／Ｄ変換回路７１ｂからの出力は入力特徴面７３ｂに対して出力される。なお、ブロックごとの波形特性のパラメータのバックプロパゲーションによる学習処理については、第１の実施形態と同様である。

このように、本実施形態によれば、センサ素子回路１１によって撮像される領域において、それぞれのブロックにおける撮像環境が大きく異なる場合（例えば、画面上部と下部で明るさが大きく異なる場合）であっても、入力特徴面のブロックごとにＡ／Ｄ変換回路の基準電圧波形の波形特性を学習するので、それぞれの撮像環境に適した波形特性を得ることが可能となる。これにより、センサ素子回路１１によって撮像される領域ごとに認識に適した変換処理を実行することが可能となる。

なお、本実施形態では、１つの入力特徴面を２つのブロックに分割する例について説明した。しかし、入力特徴面の分割数は２に限らず、３以上であっても良い。また、Ａ／Ｄ変換回路は、前述した複数行のブロックごとに独立に設けることに限らず、どのような単位で設けても構わない。例えば、センサ素子回路１１の画素回路ごとにＡ／Ｄ変換回路を設けても良いし、所定の画素回路領域ごとにＡ／Ｄ変換回路を設けても良い。このように、Ａ／Ｄ変換における基準電圧波形の波形特性を認識に関わる学習処理によって決定することができれば、Ａ／Ｄ変換回路はどのような単位で設けても良い。

これにより、独立に設けられるＡ／Ｄ変換回路に対応するセンサ素子回路１１上の領域がどのような単位の領域であるのかに関わらず、領域ごとに認識に適した変換処理を実行することが可能となる。

また、Ａ／Ｄ変換回路を独立に複数設けることに限らず、同一のＡ／Ｄ変換回路を時分割に複数回使用することで、異なる基準電圧波形の波形特性パラメータによる変換を実行するものであっても良い。この場合は、例えば、第１の実施形態で説明したルックアップテーブルに波形データを複数用意しておき、変換処理毎に異なる波形データに対応した基準電圧波形を基準電圧生成回路２５にて生成してＡ／Ｄ変換回路に供給する。これにより、Ａ／Ｄ変換回路を独立に複数設ける場合と同様に、センサ素子回路１１によって撮像される領域ごとに認識に適した変換処理を実行することが可能となる。

［第３の実施形態］
本実施形態に係る認識装置は、図１３に模式的に示すように積層された半導体基板に構成されており、その他の構成および処理内容は第１の実施形態と同様である。本実施形態に係る認識装置は、図１３に示すように３次元的に積層された半導体基板として構成されている。認識装置を構成するそれぞれの回路については、図１３に示す如く、階層８０にセンサ素子回路１１が構成され、階層８１〜８３のそれぞれには、変換回路部２０、ＣＮＮ回路部３０が構成されている。階層８１〜８３の各階層に構成されたＣＮＮ回路部３０は、それぞれ異なる入力特徴面に相当する（例えば、図３の３種類の入力特徴面）。

センサ素子回路１１から出力される電圧は、階層ごとに構成された変換回路部２０のＡ／Ｄ変換回路に並列に入力される。各階層間の信号の伝達は、ＴＳＶ（シリコン貫通電極）８４（図１３における点線枠内）を介して行われる。Ａ／Ｄ変換回路ごとに、学習処理により算出した波形特性に基づく基準電圧波形を用いてＡ／Ｄ変換回路を実行することは上記の各実施形態で説明した内容と同一である。

このように、本実施形態によれば、認識装置を構成する変換回路部２０およびＣＮＮ回路部３０が積層された半導体基板に構成されるため、並列処理を実現しつつ２次元的な回路面積を削減することが可能となる。

［第４の実施形態］
本実施形態に係る認識装置は、図１４に示す如く、センサ回路部１０がセンサ素子回路１１の代わりにＭＥＭＳ触覚センサ９０を有する。本実施形態では、センサ素子回路１１の列ごとの電圧が、該列に対応するＡ／Ｄ変換回路に入力される代わりに、ＭＥＭＳ触覚センサ９０の列ごとの電圧（アナログ信号）が、該列に対応するＡ／Ｄ変換回路に入力される。そして、それぞれのＡ／Ｄ変換回路において、列ごとに異なる基準電圧波形に基づくＡ／Ｄ変換が行われる。そしてＣＮＮ回路部３０は、それぞれのＡ／Ｄ変換回路からの出力に基づいて、物体の形状を認識する。なお、上記の説明において「列ごと」の代わりに第２の実施形態のように「列を分割したブロックごと」であっても良い。

なお、列ごと若しくはブロックごとの波形特性のパラメータのバックプロパゲーションによる学習処理については、第１の実施形態と同様である。よって本実施形態では、ＭＥＭＳ触覚センサ９０の出力に対してより認識に適した変換処理を実行することが可能となる。

なお、センサ回路部１０が有するセンサは、センサ素子回路１１等の光電変換デバイスやＭＥＭＳ触覚センサ９０に限らず、Ａ／Ｄ変換処理を伴うセンサであれば、その他の種類のセンサであっても良い。その他の種類のセンサを使用する場合であっても、Ａ／Ｄ変換処理における波形特性を学習処理によって決定することは、上記の実施形態にて説明したとおりである。

また、上記の各実施形態では、センサ回路部１０が有するセンサ（上記のセンサ素子回路１１やＭＥＭＳ触覚センサ９０等）における列の数とＡ／Ｄ変換回路の数とが同じであるものとして説明したが、同じでなくても良い。例えば、１つのＡ／Ｄ変換回路で複数の列の電圧を変換するようにしても良い。

なお、以上説明した各実施形態や変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や変形例の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０： センサ回路部 ２０： 変換回路部 ３０： ＣＮＮ回路部 １００： ブリッジ １０１： ＤＭＡＣ １０２： ＲＡＭ １０３： ＣＰＵ １０４： ＲＯＭ １０５： ＲＡＭ １０６： 画像バス １０７： ＣＰＵバス

Claims (10)

1. センサ部と、
   前記センサ部から出力されたデータを変換する変換部と、
   前記変換部が変換したデータに基づいて認識処理を行う認識部と
   を備え、
   前記変換部の変換特性は、前記認識処理のパラメータの学習処理に基づいて決定される
   ことを特徴とする認識装置。
2. 前記認識部は、階層型畳み込みニューラルネットワークを用いて認識処理を行うことを特徴とする請求項１に記載の認識装置。
3. 前記パラメータおよび前記変換部の変換特性は、前記階層型畳み込みニューラルネットワークにおける学習処理に基づいて決定されることを特徴とする請求項２に記載の認識装置。
4. 前記変換部の変換特性は、前記センサ部から出力されたデータが表す入力電圧と比較される基準電圧波形であることを特徴とする請求項１乃至３の何れか１項に記載の認識装置。
5. 前記センサ部は、光電変換デバイスであることを特徴とする請求項１乃至４の何れか１項に記載の認識装置。
6. 前記センサ部は、ＭＥＭＳ触覚センサであることを特徴とする請求項１乃至４の何れか１項に記載の認識装置。
7. 前記認識装置は、前記センサ部の列ごとに前記変換部を有することを特徴とする請求項１乃至６の何れか１項に記載の認識装置。
8. 前記認識装置は、前記センサ部の列を分割したブロックごとに前記変換部を有することを特徴とする請求項１乃至６の何れか１項に記載の認識装置。
9. 前記変換部は時分割で動作することを特徴とする請求項１乃至６の何れか１項に記載の認識装置。
10. センサ部を有する認識装置が行う認識方法であって、
    前記認識装置の変換部が、前記センサ部から出力されたデータを変換する変換工程と、
    前記認識装置の認識部が、前記変換工程で変換したデータに基づいて認識処理を行う認識工程と
    を備え、
    前記変換部の変換特性は、前記認識処理のパラメータの学習処理に基づいて決定される
    ことを特徴とする認識方法。

Images