JP2017010255A - 画像認識装置および画像認識方法 - Google Patents

画像認識装置および画像認識方法 Download PDF

Info

Publication number
JP2017010255A
JP2017010255A JP2015124786A JP2015124786A JP2017010255A JP 2017010255 A JP2017010255 A JP 2017010255A JP 2015124786 A JP2015124786 A JP 2015124786A JP 2015124786 A JP2015124786 A JP 2015124786A JP 2017010255 A JP2017010255 A JP 2017010255A
Authority
JP
Japan
Prior art keywords
image recognition
teacher data
data
feature value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2015124786A
Other languages
English (en)
Inventor
三友 刈屋
Mitsutomo Kariya
三友 刈屋
上野 晃
Akira Ueno
晃 上野
Original Assignee
オリンパス株式会社
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社, Olympus Corp filed Critical オリンパス株式会社
Priority to JP2015124786A priority Critical patent/JP2017010255A/ja
Publication of JP2017010255A publication Critical patent/JP2017010255A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6268Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches
    • G06K9/6269Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on the distance between the decision surface and training patterns lying on the boundary of the class cluster, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • G06K9/6212Comparing statistics of pixel or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6256Obtaining sets of training patterns; Bootstrap methods, e.g. bagging, boosting

Abstract

【課題】画像認識の処理を行う際の負荷を軽減することができる画像認識装置および画像認識方法を提供する。【解決手段】入力された画像に対するサポートベクタマシン(SVM)演算を行うSVM演算部と、画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部とを備え、SVM演算部は、入力された画像に写されている対象物である認識対象物と認識する対象物である比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出部と、教師データ群において同じ種類の比較対象物に分類された教師データに対応する特徴値を累積加算する累積加算部とを具備し、SVM演算の処理において、特徴値算出部は、全ての教師データに対応する特徴値を算出してデータ保存部に保存させ、累積加算部は、同じ種類の比較対象物の特徴値を累積加算して、画像認識の処理において認識対象物を認識した結果として出力する。【選択図】図1

Description

本発明は、画像認識装置および画像認識方法に関する。
従来から、画像に写されている物体、つまり、被写体(対象物)や、画像が撮影されたシーンを認識する画像認識の技術がある(非特許文献1参照)。従来の画像認識の技術では、以下のような処理手順によって画像が写されたシーンを認識する。
(手順1):入力された画像における代表的な局所パターン(ビジュアルワード)の集合を生成する。
(手順2):ビジュアルワードに基づいて、入力された画像全体のヒストグラム(認識対象データ)を生成する。
(手順3):認識対象データと大量の教師データのそれぞれとを比較して、入力された画像のシーンを認識する。
ここで、教師データとは、大量の画像を対象物の種類ごとに分類してまとめたヒストグラムである。従来の画像認識の技術では、上述した手順3の処理において、例えば、SVM(Support vector machine:サポートベクタマシン)演算など行って、入力された画像に写っている対象物とそれぞれの教師データが表す対象物とがどれくらい類似しているかを表す特徴値を、それぞれの教師データごとに算出する。そして、最も特徴値が大きい教師データが表している対象物を入力された画像に写っている対象物、または最も特徴値が大きい対象物が写っているシーンであると認識する。
ここで、SVM演算では、以下のような手順によって、それぞれの教師データごとに特徴値を算出している。
(手順3−1):大量の教師データの中から1つの教師データを読み込む。
(手順3−2):読み込んだ教師データと認識対象データとを比較して特徴値(カーネル)を算出する。
(手順3−3):算出した特徴値を累積加算する。
(手順3−4):累積加算したそれぞれの特徴値を、入力された画像に写っている対象物とそれぞれの教師データが表す対象物とが類似している度合いを表す類似度として出力する。
なお、従来の画像認識の技術では、1つの対象物に対する類似度を出力するために、例えば、5000個の教師データの中から、同じ種類の対象物に分類された1500個の教師データを読み込み、1500個の特徴値を累積加算して類似度として出力している。つまり、従来の画像認識の技術では、上述した手順3−1〜手順3−3までの処理手順を1500回繰り返すことによって、入力された画像に含まれる1つの対象物に対する類似度を、教師データにおいて分類された対象物ごとに出力している。
また、従来の画像認識の技術では、入力された画像に含まれる認識対象の対象物の数、すなわち、シーンの数だけ、類似度を出力する。つまり、従来の画像認識の技術では、上述した手順3−1〜手順3−4までの処理手順をシーンの数だけ繰り返すことによって、認識対象のそれぞれの対象物ごとの類似度を出力している。
柳井啓司, "Bag−of−Keypointsによるカテゴリー認識", 第14回 画像センシングシンポジウム(SSII2008), 2008年6月13日
しかしながら、従来の画像認識の技術では、上述したように、1つの対象物に対する類似度を出力するために1500個の教師データの読み込みを行っている。そして、従来の画像認識の技術では、引き続き同じ画像に含まれる他の対象物に対する類似度を出力する際に、前回の類似度を出力するために教師データを読み込んで算出した特徴値を破棄して、別の種類の対象物に分類された1500個の教師データの読み込みを再度行っている。このため、従来の画像認識の技術では、入力された画像に認識対象の対象物が複数含まれている場合には、対象物の数(シーン数)×1500回の教師データの読み込みと特徴値の算出とが行われる。
ところが、教師データは、同じヒストグラムが、異なる複数種類の対象物に分類されている、つまり、異なる対象物で教師データが重複している場合がある。このため、従来の画像認識装置では、異なる対象物に対応した類似度を出力する場合において、同じ教師データの読み込みや、同じ教師データを用いて同じ特徴値を算出する演算を複数回行っている。この従来の画像認識装置における同じ教師データの読み込みや同じ特徴値の算出の繰り返し、つまり、重複した処理は、画像認識装置において画像認識の処理を行う際の負荷を増大させる要因となる。
本発明は、上記の課題認識に基づいてなされたものであり、画像認識の処理を行う際の負荷を軽減することができる画像認識装置および画像認識方法を提供することを目的としている。
本発明の第1の態様によれば、画像認識装置は、入力された画像に対する画像認識の処理を、認識する対象物である比較対象物の画像のヒストグラムである教師データを、前記比較対象物の種類ごとに分類して複数含んだ教師データ群に基づいて行う画像認識装置であって、前記画像のビジュアルワードに基づいて生成されたヒストグラムに対するサポートベクタマシン(SVM)演算を、前記教師データ群に含まれる複数の前記教師データのそれぞれに基づいて行うSVM演算部と、前記画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部と、を備え、前記SVM演算部は、入力された前記画像のヒストグラムと、前記教師データが表す前記比較対象物のヒストグラムとを比較し、入力された前記画像に写されている対象物である認識対象物と前記比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出部と、同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を累積加算する累積加算部と、を具備し、前記SVM演算の処理において、前記特徴値算出部は、前記教師データ群に含まれる全ての前記教師データに対応する前記特徴値を、それぞれの前記教師データごとに算出し、算出した全ての前記特徴値を前記データ保存部に保存させ、前記累積加算部は、前記特徴値算出部が全ての前記特徴値を前記データ保存部に保存させた後に、保存された全ての前記特徴値の中から、同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を読み出して累積加算し、累積加算した前記特徴値を、前記画像認識の処理において前記認識対象物を認識した結果として出力する。
本発明の第2の態様によれば、上記第1の態様の画像認識装置において、前記特徴値算出部は、前記教師データ群に含まれる前記教師データの数が、前記画像認識の処理において前記認識対象物を認識した全ての結果を出力するまでに前記累積加算部が前記データ保存部に保存された前記特徴値を読み出して累積加算する回数よりも少ない場合に、前記教師データ群に含まれる全ての前記教師データに対応する全ての前記特徴値を算出して前記データ保存部に保存させてもよい。
本発明の第3の態様によれば、上記第2の態様の画像認識装置において、全ての前記教師データを1つにまとめた状態で可逆圧縮した形式で入力された前記教師データ群を解凍してそれぞれの前記教師データに復元する教師データ解凍部、をさらに備え、前記SVM演算の処理において、前記教師データ解凍部は、前記教師データ群を解凍してそれぞれの前記教師データに復元し、前記特徴値算出部は、前記教師データ解凍部によって復元されたそれぞれの前記教師データに対応する全ての前記特徴値を算出して前記データ保存部に保存させてもよい。
本発明の第4の態様によれば、上記第2の態様または上記第3の態様の画像認識装置において、前記画像認識の処理において排他的に演算の処理を行う、ビジュアルワード演算部と、ヒストグラム演算部と、前記SVM演算部とによる前記データ保存部の利用を調停する調停部、をさらに備え、前記調停部は、前記データ保存部の利用を割り当てたいずれか1つの演算部による前記データ保存部へのアクセスに応じて前記データ保存部にアクセスしてもよい。
本発明の第5の態様によれば、上記第4の態様の画像認識装置において、前記データ保存部は、前記ビジュアルワード演算部と、前記ヒストグラム演算部と、前記SVM演算部とがそれぞれの処理を実行する際に前記データ保存部に一時的に保存する最大の量のデータを記憶することができる記憶容量を有してもよい。
本発明の第6の態様によれば、画像認識方法は、入力された画像に対する画像認識の処理を、認識する対象物である比較対象物の画像のヒストグラムである教師データを、前記比較対象物の種類ごとに分類して複数含んだ教師データ群に基づいて行う画像認識装置における画像認識方法であって、前記画像のビジュアルワードに基づいて生成されたヒストグラムに対するサポートベクタマシン(SVM)演算を、前記教師データ群に含まれる複数の前記教師データのそれぞれに基づいて行うSVM演算ステップ、を含み、前記SVM演算ステップは、入力された前記画像のヒストグラムと、前記教師データが表す前記比較対象物のヒストグラムとを比較し、入力された前記画像に写されている対象物である認識対象物と前記比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出ステップと、同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を累積加算する累積加算ステップと、を含み、前記SVM演算の処理において、前記特徴値算出ステップは、前記教師データ群に含まれる全ての前記教師データに対応する前記特徴値を、それぞれの前記教師データごとに算出し、算出した全ての前記特徴値を、 前記画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部に保存させ、前記累積加算ステップは、前記特徴値算出ステップにおいて全ての前記特徴値を前記データ保存部に保存させた後に、保存された全ての前記特徴値の中から、同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を読み出して累積加算し、累積加算した前記特徴値を、前記画像認識の処理において前記認識対象物を認識した結果として出力する。
本発明によれば、画像認識の処理を行う際の負荷を軽減することができるという効果が得られる。
本発明の第1の実施形態における画像認識装置の概略構成を示したブロック図である。 本発明の第1の実施形態の画像認識装置において画像認識の処理を行う際のデータの流れを示したである。 本発明の第1の実施形態の画像認識装置における画像認識の処理の処理手順を示したフローチャートである。 本発明の第2の実施形態における画像認識装置の概略構成を示したブロック図である。 本発明の第2の実施形態の画像認識装置において画像認識の処理を行う際のデータの流れを示したである。 本発明の第3の実施形態における画像認識装置の概略構成を示したブロック図である。 本発明の第3の実施形態の画像認識装置において画像認識の処理を行う際のデータの流れを示したである。
<第1の実施形態>
以下、本発明の実施形態について、図面を参照して説明する。図1は、本発明の第1の実施形態における画像認識装置の概略構成を示したブロック図である。図1において、画像認識装置10は、SVM(Support vector machine:サポートベクタマシン)演算部110と特徴値保存部120とを備えている。また、SVM演算部110は、特徴値算出部111と累積加算部112とを備えている。なお、図1は、画像認識装置10が画像認識の処理を行う際に用いるデータを保存するデータ保存部90を併せて示し、画像認識装置10を備えた画像認識システム1として示している。
画像認識装置10は、入力された画像に対して、画像に写っている物体、つまり、被写体(対象物)や画像が撮影されたシーンを認識する画像認識の処理を行い、様々な対象物の種類(カテゴリー)ごとに分類されたそれぞれの教師データとの類似度の情報を、画像認識の処理によって認識した被写体(対象物)が分類された対象物と類似している度合いを表す情報として出力する。なお、画像認識装置10においても、画像認識の処理において、入力された画像における代表的な局所パターン(ビジュアルワード)の集合を生成するビジュアルワードの演算処理や、ビジュアルワードに基づいて入力された画像全体のヒストグラムを生成する演算処理など、従来の画像認識の技術と同様のそれぞれの処理を行う。以下の説明においては、入力された画像に対するビジュアルワードの演算処理や、ヒストグラムの演算処理が終了しているものとして説明する。
データ保存部90は、画像認識装置10が画像認識の処理を行う際に用いる教師データ群910と、画像認識装置10が画像認識の処理を行う対象の画像のヒストグラムである認識対象データ950とを保存している、例えば、DRAM(Dynamic Random Access Memory)などのメモリである。データ保存部90は、画像認識装置10からのデータの読み出し制御に応じて、保存している教師データ群910や認識対象データ950を、画像認識装置10に出力する。なお、本発明においては、データ保存部90にそれぞれのデータを保存する方法、つまり、データの書き込み制御に関しては、特に規定しない。
教師データ群910は、同じ対象物(以下、「比較対象物」という)が写っている大量の画像のヒストグラムが、画像認識装置10において認識する比較対象物の種類ごとに分類されたそれぞれの教師データとして含まれている。ただし、それぞれのヒストグラムは、比較対象物の種類ごとに排他的ではなく、同じヒストグラムが異なる比較対象物の種類に対応している(重複している)ものもある。つまり、1つの教師データが、複数の比較対象物の種類に分類されていることもある。従って、教師データ群910に含まれる教師データの数は、それぞれの比較対象物の種類に対応するヒストグラムの数の合計数よりも少ない。
例えば、教師データ群910が、人、犬、猫、花などの4種類の比較対象物の教師データを含んでいる場合、それぞれの比較対象物の種類ごとに、例えば、1500個のヒストグラムが含まれている。つまり、教師データ群910には、比較対象物が「人」である1つの比較対象物に対して1500個のヒストグラムを含み、同様に、比較対象物が「犬」、「猫」、「花」であるそれぞれの比較対象物に対しても、それぞれ1500個のヒストグラムを含んでいる。すなわち、教師データ群910は、4種類のそれぞれの比較対象物に対応した1500個ずつのヒストグラム(合計で4×1500=6000個のヒストグラム)を含んでいる。しかし、教師データ群910に含まれるそれぞれの比較対象物に分類されたヒストグラムは、複数の比較対象物で重複しているヒストグラムを含んでいるため、例えば、5000個の教師データから構成されている。
以下の説明においては、教師データ群910には4種類の比較対象物のそれぞれに分類される1500個ずつ(合計6000個)のヒストグラムが含まれているが、教師データ群910を構成する教師データの数は5000個であるものとして説明する。つまり、教師データ群910が表す6000個のヒストグラムの内、1000個のヒストグラムが複数の比較対象物の種類に対応している(重複している)ものとして説明する。
認識対象データ950は、例えば、画像認識システム1を搭載した撮影システムによって撮影された画像に写っている認識対象の対象物(以下、「認識対象物」という)や画像が撮影されたシーンを表す、画像全体のヒストグラムのデータである。つまり、認識対象データ950は、画像認識装置10において画像認識の処理を行う認識対象物の特徴がヒストグラムで表されたデータである。認識対象データ950は、例えば、画像認識装置10におけるビジュアルワードの演算処理およびヒストグラムの演算処理によって生成される。
画像認識装置10は、データ保存部90に保存された教師データ群910に含まれるそれぞれの教師データに基づいて、データ保存部90に保存された認識対象データ950に対して画像認識の処理を行い、それぞれの教師データとの類似度の情報を、教師データごとに出力する。
SVM演算部110は、画像認識の処理において、認識対象データ950が表す画像全体のヒストグラムと、教師データ群910に含まれるそれぞれの教師データが表す比較対象物のヒストグラムとを比較するSVM演算を行い、教師データ群910において分類された比較対象物の種類ごとに類似度を算出する。そして、SVM演算部110は、認識対象データ950の全体に対する類似度の算出が完了したとき、すなわち、SVM演算が完了したとき、SVM演算によって算出したそれぞれの比較対象物の種類ごとの類似度を表す情報を、画像認識装置10が画像認識の処理を行って認識した認識対象物の情報として出力する。
特徴値算出部111は、データ保存部90から読み出したそれぞれの教師データが表すヒストグラムと、認識対象データ950が表すヒストグラムとを比較し、それぞれの教師データごとに、認識対象データ950含まれる認識対象物と教師データが表す比較対象物とがどれくらい類似しているかを表す特徴値(カーネル)を算出する。特徴値算出部111は、それぞれの教師データごとに算出した特徴値のそれぞれを、特徴値保存部120に出力する。このとき、特徴値算出部111は、教師データ群910に含まれる教師データが表すヒストグラムのそれぞれと、認識対象データ950が表すヒストグラムとを比較して、全ての教師データに対応する特徴値を算出し、算出した全ての特徴値を特徴値保存部120に出力する。つまり、特徴値算出部111は、教師データ群910に含まれる5000個の教師データに対応する5000個の特徴値を算出して特徴値保存部120に出力する。なお、特徴値算出部111における特徴値の算出方法は、従来の画像認識の技術における特徴値の算出方法と同様であるため、詳細な説明は省略する。
累積加算部112は、特徴値保存部120に保存されたそれぞれの教師データごとの特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出し、読み出したそれぞれの特徴値を累積加算する。つまり、累積加算部112は、特徴値保存部120に保存された全ての教師データに対応する特徴値の中から、同じ種類の比較対象物に分類された1500個の特徴値を特徴値保存部120から読み出して累積加算する。そして、累積加算部112は、累積加算した特徴値を、分類された比較対象物と認識対象データ950に含まれる認識対象物との類似度の情報として出力する。すなわち、累積加算部112は、累積加算した特徴値を、画像認識の処理の結果として出力する。なお、累積加算部112における特徴値の累積加算の方法は、従来の画像認識の技術における特徴値の累積加算の方法と同様であるため、詳細な説明は省略する。
特徴値保存部120は、SVM演算部110内の特徴値算出部111が算出したそれぞれの教師データごとの特徴値を一時的に保存する、例えば、SRAM(Static Random Access Memory)などのメモリである。特徴値保存部120は、特徴値算出部111からのデータの書き込み制御に応じて、特徴値算出部111から出力された5000個の特徴値のそれぞれを保存する。また、特徴値保存部120は、SVM演算部110内の累積加算部112からのデータの読み出し制御に応じて、保存している1500個の特徴値を、累積加算部112に出力する。
このように、画像認識装置10は、それぞれの教師データに対応する特徴値を保存する特徴値保存部120を備える。そして、画像認識装置10は、画像認識の処理におけるSVM演算において、教師データ群910に含まれる全ての教師データに対応する特徴値を算出して特徴値保存部120に保存した後に、特徴値保存部120に保存した特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算して、それぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。
ここで、画像認識装置10が画像認識の処理を行う際のデータの流れについて説明する。図2は、本発明の第1の実施形態の画像認識装置10において画像認識の処理を行う際のデータの流れを示したである。なお、図2には、画像認識装置10が行う画像認識の処理におけるSVM演算の処理のデータの流れを示している。つまり、図2に示したデータの流れは、画像認識装置10に入力された画像に対するビジュアルワードの演算処理、およびヒストグラムの演算処理が終了している状態から画像認識装置10がSVM演算の処理を行う際のデータの流れを示している。
画像認識装置10におけるSVM演算の処理では、SVM演算部110に備えた特徴値算出部111が、データ保存部90から認識対象データ950を読み出す(経路C1−1)。さらに、特徴値算出部111は、データ保存部90から教師データ群910に含まれる全ての教師データを順次読み出す(経路C1−2)。そして、特徴値算出部111は、読み出した認識対象データ950と教師データとのそれぞれに基づいて特徴値を算出し、算出した特徴値のそれぞれを、特徴値保存部120に一旦保存する。図2には、特徴値算出部111が算出したそれぞれの特徴値121を、特徴値保存部120に保存している状態を示している。
その後、画像認識装置10におけるSVM演算の処理では、SVM演算部110に備えた累積加算部112が、特徴値算出部111が特徴値保存部120に保存した特徴値121の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値121を読み出して累積加算し、累積加算した特徴値を、読み出した特徴値121が表す種類の比較対象物との類似度を表す情報(画像認識の処理の結果)として出力する(経路C1−3)。
次に、画像認識装置10が画像認識の処理を行う際の動作について説明する。図3は、本発明の第1の実施形態の画像認識装置10における画像認識の処理の処理手順を示したフローチャートである。なお、図3には、画像認識装置10が行う画像認識の処理におけるSVM演算の処理の処理手順を示している。つまり、図3に示した処理手順は、画像認識装置10に入力された画像に対するビジュアルワードの演算処理、およびヒストグラムの演算処理が終了している状態から画像認識装置10がSVM演算の処理を行う際の処理手順を示している。
なお、以下の説明においては、教師データ群910に4種類の比較対象物のそれぞれに対応する1500個ずつ(合計6000個)のヒストグラムが含まれており、教師データ群910が5000個の教師データで構成されている(1000個のヒストグラムが重複している)ものとして説明する。
画像認識装置10(SVM演算部110)がSVM演算の処理を開始すると、SVM演算部110に備えた特徴値算出部111は、まず、データ保存部90から認識対象データ950を読み出す(図2の経路C1−1参照)。
そして、画像認識装置10(SVM演算部110)は、ステップS100から、それぞれの教師データに対してSVM演算を行う。SVM演算では、まず、ステップS100において、特徴値算出部111は、データ保存部90に保存された教師データ群910に含まれる1個の教師データ(1つ目の教師データ)の読み出しを行う(図2の経路C1−2参照)。
続いて、ステップS110において、特徴値算出部111は、読み出した1つ目の教師データが表すヒストグラムと、認識対象データ950が表すヒストグラムとを比較して特徴値を算出する。そして、ステップS120において、特徴値算出部111は、算出した1つ目の教師データに対応する特徴値を、特徴値保存部120に出力して保存させる。これにより、図2に示した1つ目の教師データに対応する特徴値121が、特徴値保存部120に保存される。
続いて、ステップS130において、特徴値算出部111は、データ保存部90に保存された教師データ群910に含まれる全ての教師データに対応するそれぞれの特徴値を、特徴値保存部120に保存が終了したか否か、つまり、全ての教師データの読み出しと特徴値の算出とが終了したか否かを判定する。
ステップS130における判定の結果、全ての教師データに対応するそれぞれの特徴値、つまり、全ての特徴値の特徴値保存部120への保存が終了していない場合(ステップS130の“NO”)、特徴値算出部111は、ステップS100に戻って、教師データ群910に含まれる次の1個の教師データ(2つ目の教師データ)の読み出しを行う(図2の経路C1−2参照)。そして、特徴値算出部111は、ステップS110〜ステップS130の処理を、全ての特徴値の特徴値保存部120への保存が終了するまで繰り返す。なお、教師データ群910は、5000個の教師データで構成されているため、特徴値算出部111は、ステップS100〜ステップS130の処理を、5000回繰り返す。
一方、ステップS130における判定の結果、全ての特徴値の特徴値保存部120への保存が終了した場合(ステップS130の“YES”)、特徴値算出部111は、ステップS200に進む。
続いて、ステップS200において、SVM演算部110に備えた累積加算部112は、特徴値保存部120に保存された同じ種類の比較対象物に分類された教師データに対応する1個の特徴値(1つ目の特徴値)の読み出しを行う(図2の経路C1−3参照)。
続いて、ステップS210において、累積加算部112は、読み出した1つ目の特徴値を累積加算する。そして、ステップS220において、累積加算部112は、特徴値保存部120に保存された同じ種類の比較対象物に分類された教師データに対応する全ての特徴値の累積加算が終了したか否か、つまり、同じ種類の比較対象物の全ての特徴値の読み出しと特徴値の累積加算とが終了したか否かを判定する。
ステップS220における判定の結果、同じ種類の比較対象物に分類された教師データに対応する全ての特徴値の累積加算が終了していない、つまり、今回出力する比較対象物との類似度の最終的な結果が得られていない場合(ステップS220の“NO”)、累積加算部112は、ステップS200に戻って、特徴値保存部120に保存された同じ種類の比較対象物に分類された教師データに対応する次の1個の特徴値(2つ目の特徴値)の読み出しを行う(図2の経路C1−3参照)。そして、累積加算部112は、ステップS210〜ステップS220の処理を、全ての特徴値の累積加算が終了するまで繰り返す。なお、教師データ群910は、1種類の比較対象物に対応する1500個のヒストグラムが含まれているため、累積加算部112は、ステップS200〜ステップS220の処理を、1500回繰り返す。
一方、ステップS220における判定の結果、同じ種類の比較対象物に分類された教師データに対応する全ての特徴値の累積加算が終了した、つまり、今回出力する比較対象物との類似度の最終的な結果が得られた場合(ステップS220の“YES”)、累積加算部112は、ステップS300に進む。
続いて、ステップS300において、累積加算部112は、ステップS220〜ステップS220の処理で得られた累積加算した特徴値、つまり、今回出力する同じ種類に分類された比較対象物と認識対象データ950に含まれる認識対象物との類似度の情報(画像認識の処理の結果)を出力する。
そして、ステップS310において、累積加算部112は、教師データ群910において分類された全ての種類の比較対象物の教師データに対応する全ての特徴値の累積加算が終了したか否か、つまり、全ての種類の比較対象物に対する画像認識が終了したか否かを判定する。
ステップS310における判定の結果、全ての種類の比較対象物の教師データに対応する全ての特徴値の累積加算が終了していない、つまり、教師データ群910において分類された全ての比較対象物との類似度の情報の出力が終了していない場合(ステップS310の“NO”)、累積加算部112は、ステップS200に戻る。そして、累積加算部112は、ステップS200〜ステップS310の処理、つまり、今回出力していない他の比較対象物との類似度の情報の算出と出力とを、全ての種類の比較対象物との類似度の情報の出力が終了するまで繰り返す。なお、教師データ群910は、4種類の比較対象物のそれぞれに対応する教師データで構成されているため、累積加算部112は、ステップS200〜ステップS310の処理を、4回繰り返す。
一方、ステップS310における判定の結果、教師データ群910において分類された全ての比較対象物との類似度の情報の出力が終了した場合(ステップS310の“YES”)、画像認識装置10(SVM演算部110)は、それぞれの教師データに対するSVM演算の処理を完了する。
このような処理によって、画像認識装置10では、画像認識の処理におけるSVM演算において、まず、データ保存部90に保存されている教師データ群910に含まれるそれぞれの教師データを1回ずつ読み出して、全ての教師データに対応する特徴値を算出して特徴値保存部120に一旦保存する。その後、画像認識装置10では、特徴値保存部120に保存した特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算した特徴値を、それぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。これにより、画像認識装置10では、従来の画像認識の処理におけるSVM演算のように、複数種類の比較対象物に分類されている同じ教師データ(重複している教師データ)を、それぞれの種類の比較対象物との類似度を出力するごとに複数回読み出すことなく、SVM演算によって算出したそれぞれの比較対象物の種類ごとの類似度を表す情報を、画像認識の処理を行って認識した認識対象物の情報として出力することができる。
このことにより、画像認識装置10では、SVM演算の処理を行う際にデータ保存部90から教師データを読み出す回数、つまり、画像認識装置10におけるデータ保存部90へのアクセス回数を、従来の画像認識の処理においてSVM演算の処理を行う際に教師データを読み出す回数よりも削減することができる。しかも、画像認識装置10では、それぞれの教師データに対応する特徴値を特徴値保存部120に一旦保存するため、読み出したそれぞれの教師データに対応する特徴値を算出する演算も1回ずつ行うのみであり、従来の画像認識の処理におけるSVM演算のように、重複して読み出した同じ教師データから同じ特徴値を算出する演算を複数回行うことなく、SVM演算の処理を行う際の演算負荷も軽減することができる。
より具体的には、従来の画像認識の処理におけるSVM演算では、4種類に分類されたそれぞれの比較対象物ごとに1500個ずつの教師データをデータ保存部90から読み出す、つまり、データ保存部90へのアクセス回数が4種類×1500個=6000回である。そして、従来の画像認識の処理におけるSVM演算では、それぞれの教師データに対応する特徴値を算出する演算を6000回行う。これに対して画像認識装置10では、ステップS100〜ステップS130の処理を、教師データ群910に含まれる教師データの個数(5000個)と同じ回数だけ繰り返す、つまり、データ保存部90へのアクセス回数は5000回である。そして、画像認識装置10では、それぞれの教師データに対応する特徴値を算出する演算の回数も5000回である。
第1の実施形態によれば、入力された画像に対する画像認識の処理を、認識する対象物である比較対象物の画像のヒストグラムである教師データを、比較対象物の種類ごとに分類して複数含んだ教師データ群(教師データ群910)に基づいて行う画像認識装置(画像認識装置10)であって、画像のビジュアルワードに基づいて生成されたヒストグラム(認識対象データ950)に対するサポートベクタマシン(SVM)演算を、教師データ群910に含まれる複数の教師データのそれぞれに基づいて行うSVM演算部(SVM演算部110)と、画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部(特徴値保存部120)と、を備え、SVM演算部110は、入力された画像のヒストグラム(認識対象データ950)と、教師データが表す比較対象物のヒストグラムとを比較し、入力された画像に写されている対象物である認識対象物と比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出部(特徴値算出部111)と、同じ種類の比較対象物に分類された教師データに対応する特徴値を累積加算する累積加算部(累積加算部112)と、を具備し、SVM演算の処理において、特徴値算出部111は、教師データ群910に含まれる全ての教師データに対応する特徴値を、それぞれの教師データごとに算出し、算出した全ての特徴値を特徴値保存部120に保存させ、累積加算部112は、特徴値算出部111が全ての特徴値を特徴値保存部120に保存させた後に、保存された全ての特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算し、累積加算した特徴値を、画像認識の処理において認識対象物を認識した結果として出力する画像認識装置(画像認識装置10)が構成される。
また、第1の実施形態によれば、特徴値算出部111は、教師データ群910に含まれる教師データの数が、画像認識の処理において認識対象物を認識した全ての結果を出力するまでに累積加算部112が特徴値保存部120に保存された特徴値を読み出して累積加算する回数よりも少ない場合に、教師データ群910に含まれる全ての教師データに対応する全ての特徴値を算出して特徴値保存部120に保存させる画像認識装置10が構成される。
また、第1の実施形態によれば、入力された画像に対する画像認識の処理を、認識する対象物である比較対象物の画像のヒストグラムである教師データを、比較対象物の種類ごとに分類して複数含んだ教師データ群(教師データ群910)に基づいて行う画像認識装置(画像認識装置10)における画像認識方法であって、画像のビジュアルワードに基づいて生成されたヒストグラム(認識対象データ950)に対するサポートベクタマシン(SVM)演算を、教師データ群910に含まれる複数の教師データのそれぞれに基づいて行うSVM演算ステップ、を含み、SVM演算ステップは、入力された画像のヒストグラム(認識対象データ950)と、教師データが表す比較対象物のヒストグラムとを比較し、入力された画像に写されている対象物である認識対象物と比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出ステップと、同じ種類の比較対象物に分類された教師データに対応する特徴値を累積加算する累積加算ステップと、を含み、SVM演算の処理において、特徴値算出ステップは、教師データ群910に含まれる全ての教師データに対応する特徴値を、それぞれの教師データごとに算出し、算出した全ての特徴値を、画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部(特徴値保存部120)に保存させ、累積加算ステップは、特徴値算出ステップにおいて全ての特徴値を特徴値保存部120に保存させた後に、保存された全ての特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算し、累積加算した特徴値を、画像認識の処理において認識対象物を認識した結果として出力する画像認識方法が構成される。
上記に述べたように、第1の実施形態の画像認識装置10は、データ保存部90に保存されている教師データ群910に含まれる全ての教師データに対応する特徴値を保存するための特徴値保存部120を備える。そして、第1の実施形態の画像認識装置10は、画像認識の処理におけるSVM演算において、教師データ群910に含まれるそれぞれの教師データを1回ずつ読み出して算出した全ての教師データに対応する特徴値を特徴値保存部120に一旦保存する。その後、第1の実施形態の画像認識装置10は、特徴値保存部120に保存した特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算し、累積加算した特徴値を、SVM演算によって算出したそれぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。つまり、第1の実施形態の画像認識装置10では、データ保存部90に保存されている教師データ群910に含まれるそれぞれの教師データを1回ずつ読み出すのみで、それぞれの比較対象物の種類ごとの類似度を表す情報を出力する。
これにより、第1の実施形態の画像認識装置10では、従来の画像認識の処理を行う画像認識装置のように、同じ教師データの読み込みや同じ特徴値の算出を複数回繰り返すことなく、それぞれの比較対象物の種類ごとの類似度を表す情報を、画像認識の処理を行って認識した認識対象物の情報(画像認識の処理の結果)として出力することができる。つまり、第1の実施形態の画像認識装置10では、SVM演算の処理を行う際にデータ保存部90から教師データを読み出す回数(データ保存部90へのアクセス回数)や、それぞれの教師データに対応する特徴値を算出する演算回数を、従来の画像認識の処理を行う画像認識装置よりも削減することができる。このことにより、第1の実施形態の画像認識装置10では、画像認識の処理を行う際の負荷を、従来の画像認識の処理を行う画像認識装置よりも軽減することができる。なお、第1の実施形態の画像認識装置10において画像認識の処理を行う際の負荷を軽減することができるということは、画像認識装置10を備えた画像認識システム1における画像認識の処理の高効率化や処理速度の向上にもつながる。
なお、第1の実施形態の画像認識装置10では、SVM演算部110に備えた特徴値算出部111が、データ保存部90から認識対象データ950や教師データ群910に含まれるそれぞれの教師データを読み出す構成について説明した。しかし、データ保存部90から認識対象データ950や教師データを読み出す構成や方法は、第1の実施形態に示した構成や方法に限定されるものではない。例えば、画像認識装置10に、データ保存部90との間でのデータの受け渡しをDMA(Direct Memory Access)によって行うDMA部を備え、このDMA部が、特徴値算出部111からの要求に応じて、DMAによってデータ保存部90から取得した認識対象データ950やそれぞれの教師データを特徴値算出部111に伝送する構成であってもよい。
また、第1の実施形態の画像認識装置10では、4種類に分類されたそれぞれの比較対象物ごとに1500個ずつのヒストグラムが含まれている5000個の教師データで構成された教師データ群910を用いて画像認識の処理を行う場合の動作の一例を説明した。そして、第1の実施形態の画像認識装置10では、従来の画像認識の処理において6000回行う教師データの読み出しを、教師データ群910に含まれる教師データの個数と同じ回数だけ行うことによって、教師データの読み出し回数と特徴値を算出する演算の回数を低減することができるという効果を説明した。しかし、教師データ群910において分類される比較対象物の種類数や、教師データ群910を構成する教師データの数は、第1の実施形態において示した数に限定されるものではない。このため、画像認識装置10において認識する比較対象物の種類数や、教師データ群910の構成によっては、第1の実施形態の画像認識装置10における教師データの読み出し回数が、従来の画像認識の処理を行う画像認識装置と同じまたは多くなってしまうことも考えられる。
例えば、教師データ群910が、第1の実施形態で説明した構成であっても、画像認識装置10が3種類の比較対象物のみを認識する場合には、従来の画像認識の処理を行う画像認識装置による教師データの読み出し回数が4500回であるのに対して、第1の実施形態の画像認識装置10による教師データの読み出し回数は5000回になってしまう。また、例えば、教師データ群910含まれる全てのヒストグラムが、比較対象物の種類ごとに排他的である場合には、従来の画像認識の処理を行う画像認識装置による教師データの読み出し回数と、第1の実施形態の画像認識装置10による教師データの読み出し回数とは同じ回数になってしまう。このため、第1の実施形態の画像認識装置10においても、認識する比較対象物の種類数や教師データ群910の構成によっては、従来の画像認識の処理を行う画像認識装置と同様の動作をするようにしてもよい。つまり、第1の実施形態の画像認識装置10の動作を、認識する比較対象物の種類数や教師データ群910の構成に応じて、図3のフローチャートを用いて説明した動作、または従来の画像認識装置と同様の動作に切り替える構成にしてもよい。
より具体的には、認識する比較対象物の種類数と、それぞれの比較対象物に対応するヒストグラムの数とを乗算した数、すなわち、認識するそれぞれの比較対象物に対応するヒストグラムの数を合計した数と、教師データ群910を構成する教師データの数とを比較する。なお、認識するそれぞれの比較対象物に対応するヒストグラムの数を合計した数は、従来の画像認識の処理を行う画像認識装置において教師データを読み出す回数である。そして、従来の画像認識の処理を行う画像認識装置において教師データを読み出す回数が、教師データ群910を構成する教師データの数以下である場合には、従来の画像認識装置と同様の動作を行うようにする。一方、従来の画像認識の処理を行う画像認識装置において教師データを読み出す回数が、教師データ群910を構成する教師データの数よりも多い場合には、図3のフローチャートを用いて説明した第1の実施形態の画像認識装置10の動作を行うようにする。
なお、従来の画像認識の処理を行う画像認識装置において教師データを読み出す回数は、認識する全ての種類の比較対象物との類似度の情報の出力が終了するまで、つまり、画像認識の処理におけるSVM演算の処理が終了するまでに、累積加算部112が特徴値保存部120に保存された特徴値を読み出して累積加算する回数に相当する。従って、累積加算部112が特徴値を読み出して累積加算する回数に基づいて、第1の実施形態の画像認識装置10の動作を切り替える構成にしてもよい。つまり、教師データ群910を構成する教師データの数が、累積加算部112が特徴値を読み出して累積加算する回数以上である場合に、従来の画像認識装置と同様の動作を行い、累積加算部112が特徴値を読み出して累積加算する回数よりも少ない場合に、図3のフローチャートを用いて説明した第1の実施形態の画像認識装置10の動作を行うように切り替える構成にしてもよい。
なお、第1の実施形態の画像認識装置10では、認識する比較対象物の種類ごとに分類された大量の画像のヒストグラムのそれぞれを教師データとして含む教師データ群910をデータ保存部90に保存している場合について説明した。しかし、データ保存部90に保存する教師データ群910の形式は、第1の実施形態に示した形式に限定されるものではない。例えば、認識する比較対象物の種類ごとに分類された大量の画像のヒストグラム(教師データ)を1つのデータとしてまとめた状態で可逆圧縮されてデータ保存部90に保存されている場合も考えられる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。図4は、本発明の第2の実施形態における画像認識装置の概略構成を示したブロック図である。図4において、画像認識装置20は、SVM演算部110と、特徴値保存部120と、教師データ解凍部230と、を備えている。また、SVM演算部110は、特徴値算出部111と累積加算部112とを備えている。なお、図4は、画像認識装置20が画像認識の処理を行う際に用いるデータを保存するデータ保存部90を併せて示し、画像認識装置20を備えた画像認識システム2として示している。
図4に示した画像認識装置20は、図1に示した第1の実施形態の画像認識装置10に、さらに、教師データ解凍部230を備えた構成である。なお、画像認識装置20に備えたその他の構成要素は、図1に示した第1の実施形態の画像認識装置10に備えた構成要素と同じ構成要素である。従って、以下の説明においては、画像認識装置20の構成要素において、第1の実施形態の画像認識装置10に備えた構成要素と同様の構成要素には同一の符号を付与して、それぞれの構成要素に関する詳細な説明は省略し、画像認識装置20において第1の実施形態の画像認識装置10と異なる構成要素および動作についてのみを説明する。
画像認識装置20も、第1の実施形態の画像認識装置10と同様に、入力された画像に対して画像認識の処理を行い、それぞれの教師データとの類似度の情報を、画像認識の処理によって認識した認識対象物が比較対象物と類似している度合いを表す情報(画像認識の処理の結果)として出力する。ただし、画像認識装置20は、SVM演算の処理を、1つのデータとしてまとめて可逆圧縮した状態の教師データ(以下、「圧縮教師データ群911」という)に基づいて行う構成の画像認識装置である。なお、画像認識装置20も、第1の実施形態の画像認識装置10と同様に、ビジュアルワードの演算処理や、ヒストグラムの演算処理などの処理を行う。以下の説明においても、入力された画像に対するビジュアルワードの演算処理や、ヒストグラムの演算処理が終了しているものとして説明する。
データ保存部90は、画像認識装置20が画像認識の処理を行う際に用いる圧縮教師データ群911と、画像認識装置20が画像認識の処理を行う対象の認識対象データ950とを保存している。
圧縮教師データ群911は、図1に示した第1の実施形態の画像認識装置10を備えた画像認識システム1においてデータ保存部90が保存していた教師データ群910と同様の教師データを、1つのデータとしてまとめた状態で可逆圧縮した構成の教師データ群である。例えば、圧縮教師データ群911が、人、犬、猫、花などの4種類の比較対象物の教師データを含んでいる場合、それぞれの比較対象物に対応する1500個ずつ(合計6000個)のヒストグラムを表す5000個の教師データ(1000個のヒストグラムが重複している)が全てまとめられた状態で可逆圧縮されて、1つのデータ(教師データ群)として構成されている。
画像認識装置20は、データ保存部90に保存された圧縮教師データ群911に含まれるそれぞれの教師データに基づいて、データ保存部90に保存された認識対象データ950に対して画像認識の処理を行い、それぞれの教師データとの類似度の情報(画像認識の処理の結果)を、教師データごとに出力する。
教師データ解凍部230は、画像認識装置20が画像認識の処理を行う際に用いる圧縮教師データ群911を解凍する。これにより、圧縮教師データ群911に含まれるそれぞれの教師データが、第1の実施形態の画像認識装置10が画像認識の処理を行う際に用いる教師データ群910に含まれるそれぞれの教師データと同様の形式に復元される。そして、教師データ解凍部230は、解凍したそれぞれの教師データを、SVM演算部110に出力する。
SVM演算部110は、画像認識の処理において、認識対象データ950が表す画像全体のヒストグラムと、教師データ解凍部230から出力されたそれぞれの教師データが表す比較対象物のヒストグラムとを比較するSVM演算を行い、圧縮教師データ群911において分類された比較対象物の種類ごとに類似度を算出する。そして、SVM演算部110は、算出したそれぞれの類似度を表す情報を、画像認識装置20が画像認識の処理を行って認識した認識対象物の情報として出力する。
このように、画像認識装置20は、可逆圧縮された状態の1つの圧縮教師データ群911を解凍する教師データ解凍部230を備える。そして、画像認識装置20は、画像認識の処理におけるSVM演算に先だって、教師データ解凍部230が、圧縮教師データ群911に含まれるそれぞれの教師データを解凍する。また、画像認識装置20も、第1の実施形態の画像認識装置10と同様に、それぞれの教師データに対応する特徴値を保存する特徴値保存部120を備える。そして、画像認識装置20は、第1の実施形態の画像認識装置10と同様に、画像認識の処理におけるSVM演算において、教師データ解凍部230が解凍(復元)した全ての教師データに対応する特徴値を算出して特徴値保存部120に一旦保存する。その後、画像認識装置20は、第1の実施形態の画像認識装置10と同様に、特徴値保存部120に保存した特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算して、それぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。
ここで、画像認識装置20が画像認識の処理を行う際のデータの流れについて説明する。図5は、本発明の第2の実施形態の画像認識装置20において画像認識の処理を行う際のデータの流れを示したである。なお、図5には、図2に示した第1の実施形態の画像認識装置10におけるデータの流れと同様に、画像認識装置20が行う画像認識の処理におけるSVM演算の処理のデータの流れを示している。従って、図5に示したデータの流れも、画像認識装置20に入力された画像に対するビジュアルワードの演算処理、およびヒストグラムの演算処理が終了している状態から画像認識装置20がSVM演算の処理を行う際のデータの流れを示している。なお、図5に示した画像認識装置20におけるデータの流れには、図2に示した第1の実施形態の画像認識装置10におけるデータの流れと同様のデータの流れを含んでいる。
画像認識装置20におけるSVM演算の処理では、SVM演算部110に備えた特徴値算出部111が、第1の実施形態の画像認識装置10におけるデータの流れと同様に、データ保存部90から認識対象データ950を読み出す(経路C1−1)。その後、教師データ解凍部230が、データ保存部90から圧縮教師データ群911を読み出して解凍し、解凍した全ての教師データを順次、SVM演算部110内の特徴値算出部111に出力する(経路C2−2)。そして、特徴値算出部111は、読み出した認識対象データ950と、教師データ解凍部230から出力された教師データとのそれぞれに基づいて特徴値を算出し、算出した特徴値のそれぞれを、特徴値保存部120に一旦保存する。図5には、特徴値算出部111が算出したそれぞれの特徴値121を、特徴値保存部120に保存している状態を示している。
その後、画像認識装置20におけるSVM演算の処理では、SVM演算部110に備えた累積加算部112が、第1の実施形態の画像認識装置10におけるデータの流れと同様に、特徴値算出部111が特徴値保存部120に保存した特徴値121の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値121を読み出して累積加算する。そして、累積加算部112は、累積加算した特徴値を、読み出した特徴値121が表す種類の比較対象物との類似度を表す情報(画像認識の処理の結果)として出力する(経路C1−3)。
なお、画像認識装置20が行う画像認識の処理におけるSVM演算の処理の処理手順は、図3に示した第1の実施形態の画像認識装置10が行う画像認識の処理におけるSVM演算の処理の処理手順と、教師データが異なるのみである。
より具体的には、画像認識装置20が図3に示したSVM演算の処理の処理手順を開始する前に、教師データ解凍部230がデータ保存部90から圧縮教師データ群911を読み出して解凍する。以降、特徴値算出部111は、図3に示したステップS100において、教師データ解凍部230から出力された1個の教師データ(1つ目の教師データ)を取得し、ステップS110〜ステップS130の処理を、教師データ解凍部230から出力された教師データに対応する全ての特徴値の特徴値保存部120への保存が終了するまで繰り返す。つまり、特徴値算出部111は、圧縮教師データ群911に含まれる5000個の教師データに対応する全ての特徴値の特徴値保存部120への保存が終了するまで、図3に示したステップS100〜ステップS130の処理を、5000回繰り返す。
その後、累積加算部112は、図3に示したステップS200〜ステップS220の処理を、全ての特徴値の累積加算が終了するまで繰り返し、さらに、ステップS200〜ステップS310の処理を、圧縮教師データ群911において分類された全ての種類の比較対象物との類似度の情報(画像認識の処理の結果)の出力が終了するまで繰り返す。つまり、画像認識装置20でも、累積加算部112が、図3に示したステップS200〜ステップS220の処理を1500回繰り返し、ステップS200〜ステップS310の処理を4回繰り返す。
これにより、画像認識装置20でも、第1の実施形態の画像認識装置10と同様に、SVM演算によって算出したそれぞれの比較対象物の種類ごとの類似度を表す情報を、画像認識の処理を行って認識した認識対象物の情報(画像認識の処理の結果)として出力することができる。
第2の実施形態によれば、全ての教師データを1つにまとめた状態で可逆圧縮した形式で入力された教師データ群(圧縮教師データ群911)を解凍してそれぞれの教師データに復元する教師データ解凍部(教師データ解凍部230)、をさらに備え、SVM演算の処理において、教師データ解凍部230は、圧縮教師データ群911を解凍してそれぞれの教師データに復元し、特徴値算出部(特徴値算出部111)は、教師データ解凍部230によって復元されたそれぞれの教師データに対応する全ての特徴値を算出してデータ保存部(特徴値保存部120)に保存させる画像認識装置(画像認識装置20)が構成される。
上記に述べたように、第2の実施形態の画像認識装置20は、可逆圧縮された状態の1つの圧縮教師データ群911を解凍する教師データ解凍部230を備える。また、第2の実施形態の画像認識装置20は、第1の実施形態の画像認識装置10と同様に、教師データ解凍部230が解凍した、圧縮教師データ群911に含まれる全ての教師データに対応する特徴値を保存するための特徴値保存部120を備える。そして、第2の実施形態の画像認識装置20は、画像認識の処理におけるSVM演算において、教師データ解凍部230が解凍した全ての教師データを用いて算出した全ての特徴値を特徴値保存部120に一旦保存した後に、特徴値保存部120に保存した特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算して、それぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。つまり、第2の実施形態の画像認識装置20では、データ保存部90に保存されている圧縮教師データ群911を1回読み出すのみで、圧縮教師データ群911において分類されたそれぞれの比較対象物の種類ごとの類似度を表す情報を出力する。これにより、第2の実施形態の画像認識装置20でも、第1の実施形態の画像認識装置10と同様に、画像認識の処理を行う際の負荷を、従来の画像認識の処理を行う画像認識装置よりも軽減することができる。
より具体的には、可逆圧縮された圧縮教師データ群911に基づいて画像認識の処理を行う場合、従来の画像認識の処理を行う画像認識装置では、最初に、圧縮教師データ群911を読み込んで解凍し、解凍した全ての教師データ(例えば、5000個の教師データ)の中から、1つ目の種類の比較対象物に分類された教師データ(例えば、1500個の教師データ)を用いて、1つ目の種類の比較対象物に対する類似度(画像認識の処理の結果)を出力する。その後、従来の画像認識の処理を行う画像認識装置は、前回解凍した全ての教師データを破棄して、圧縮教師データ群911の読み込みを再度行って解凍し、解凍した全ての教師データ(例えば、5000個の教師データ)の中から、2つ目の種類の比較対象物に分類された教師データ(例えば、1500個の教師データ)を用いて、2つ目の種類の比較対象物に対する類似度(画像認識の処理の結果)を出力する。このように、従来の画像認識の処理を行う画像認識装置では、圧縮教師データ群911の読み込みと解凍とを、画像認識の処理を行うそれぞれの比較対象物ごとに行い、都度、解凍したそれぞれの教師データを破棄する。つまり、従来の画像認識の処理を行う画像認識装置では、同じ圧縮教師データ群911の読み込みおよび解凍と、同じ教師データ(重複している教師データ)に対応する特徴値を算出する演算とを、複数回行っている。
これに対して、第2の実施形態の画像認識装置20は、データ保存部90に保存されている圧縮教師データ群911を1回のみ読み出して解凍し、解凍した全ての教師データに対応する特徴値(例えば、5000個の特徴値)を算出して特徴値保存部120に一旦保存する。その後、第2の実施形態の画像認識装置20は、特徴値保存部120に保存した特徴値の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値(例えば、1500個の特徴値)を読み出して累積加算した特徴値を、それぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。つまり、第2の実施形態の画像認識装置20では、圧縮教師データ群911の読み込みおよび解凍と、同じ教師データ(重複している教師データ)に対応する特徴値を算出する演算とを、1回のみ行っている。すなわち、第2の実施形態の画像認識装置20では、従来の画像認識の処理を行う画像認識装置のように、同じ教師データの読み込みや同じ特徴値の算出を複数回繰り返すことなく、それぞれの比較対象物の種類ごとの類似度を表す情報を、画像認識の処理を行って認識した認識対象物の情報として出力することができる。
このように、第2の実施形態の画像認識装置20では、SVM演算の処理を行う際にデータ保存部90から可逆圧縮された圧縮教師データ群911を読み出す回数(データ保存部90へのアクセス回数)と、可逆圧縮された圧縮教師データ群911を解凍する演算回数と、解凍したそれぞれの教師データに対応する特徴値を算出する演算回数を、従来の画像認識の処理を行う画像認識装置よりも削減することができる。このことにより、第2の実施形態の画像認識装置20でも、第1の実施形態の画像認識装置10と同様に、画像認識の処理を行う際の負荷を、従来の画像認識の処理を行う画像認識装置よりも軽減することができる。なお、第2の実施形態の画像認識装置20において画像認識の処理を行う際の負荷を軽減することができるということも、第1の実施形態の画像認識装置10と同様に、画像認識装置20を備えた画像認識システム2における画像認識の処理の高効率化や処理速度の向上につながる。
なお、第2の実施形態の画像認識装置20でも、第1の実施形態の画像認識装置10と同様に、画像認識装置20に備えたDMA部が、教師データ解凍部230からの要求に応じて、DMAによってデータ保存部90から取得した圧縮教師データ群911を教師データ解凍部230に伝送する構成であってもよい。
また、第2の実施形態の画像認識装置20でも、第1の実施形態の画像認識装置10と同様に、第2の実施形態の画像認識装置20の動作を、認識する比較対象物の種類数や圧縮教師データ群911に含まれる教師データの構成に応じて、上述した動作、または従来の画像認識装置と同様の動作に切り替える構成にしてもよい。
なお、第1の実施形態の画像認識装置10および第2の実施形態の画像認識装置20では、入力された画像に対するビジュアルワードの演算処理、およびヒストグラムの演算処理が終了しているものとして説明した。しかし、上述したように、第1の実施形態の画像認識装置10や第2の実施形態の画像認識装置20においても、従来の画像認識の処理を行う画像認識装置と同様に、入力された画像に対するビジュアルワードの演算処理や、ヒストグラムの演算処理などの処理を行っている。そして、一般的に、画像認識装置においては、ビジュアルワードの演算処理やヒストグラムの演算処理において用いるデータを一時的に保存するための保存部(メモリ)として、例えば、SRAMなどを備えている。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。図6は、本発明の第3の実施形態における画像認識装置の概略構成を示したブロック図である。図6において、画像認識装置30は、SVM演算部110と、特徴値保存部120と、調停部340と、ビジュアルワード演算部350と、ヒストグラム演算部360と、を備えている。また、SVM演算部110は、特徴値算出部111と累積加算部112とを備えている。なお、図6は、画像認識装置30が画像認識の処理を行う際に用いるデータを保存するデータ保存部90を併せて示し、画像認識装置30を備えた画像認識システム3として示している。
図6に示した画像認識装置30は、図1に示した第1の実施形態の画像認識装置10に備えたビジュアルワード演算部350とヒストグラム演算部360とを示し、さらに、調停部340を備えた構成である。なお、画像認識装置30に備えたその他の構成要素は、図1に示した第1の実施形態の画像認識装置10に備えた構成要素と同じ構成要素である。従って、以下の説明においては、画像認識装置30の構成要素において、第1の実施形態の画像認識装置10に備えた構成要素と同様の構成要素には同一の符号を付与して、それぞれの構成要素に関する詳細な説明は省略し、画像認識装置30において第1の実施形態の画像認識装置10と異なる構成要素および動作についてのみを説明する。
画像認識装置30も、第1の実施形態の画像認識装置10と同様に、入力された画像に対して画像認識の処理を行い、それぞれの教師データとの類似度の情報を、画像認識の処理によって認識した認識対象物が比較対象物と類似している度合いを表す情報(画像認識の処理の結果)として出力する。ただし、画像認識装置30は、特徴値保存部120を、SVM演算部110と、ビジュアルワード演算部350と、ヒストグラム演算部360とのそれぞれで共有する構成の画像認識装置である。
ビジュアルワード演算部350は、例えば、画像認識システム3を搭載した撮影システムによって撮影された画像に対するビジュアルワードを生成するビジュアルワードの演算処理を行う。より具体的には、ビジュアルワード演算部350は、画像認識装置30に入力された画像における代表的な局所パターン(ビジュアルワード)の集合を生成する演算を行う。ビジュアルワード演算部350は、入力された画像におけるそれぞれのビジュアルワードを生成する演算を行う際に、演算途中のデータなどを一時的に保存する保存部(メモリ)として、特徴値保存部120を利用する。そして、ビジュアルワード演算部350は、最終的に生成したビジュアルワードの集合のデータを、データ保存部90に出力して保存させる。なお、ビジュアルワード演算部350におけるビジュアルワードの演算処理の方法は、従来の画像認識の技術におけるビジュアルワードの演算処理の方法と同様であるため、詳細な説明は省略する。
ヒストグラム演算部360は、ビジュアルワードに基づいて、例えば、画像認識システム3を搭載した撮影システムによって撮影された画像全体のヒストグラムを生成するヒストグラムの演算処理を行う。より具体的には、ヒストグラム演算部360は、ビジュアルワード演算部350によって生成されて保存されたそれぞれのビジュアルワードのデータをデータ保存部90から読み出し、読み出したそれぞれのビジュアルワードのデータに基づいて、入力された画像全体のヒストグラムを生成する演算を行う。ヒストグラム演算部360は、入力された画像全体のヒストグラムを生成する演算を行う際に、演算途中のデータなどを一時的に保存する保存部(メモリ)として、特徴値保存部120を利用する。そして、ヒストグラム演算部360は、最終的に生成したヒストグラムのデータを、データ保存部90に出力して保存させる。なお、ヒストグラム演算部360におけるヒストグラムの演算処理の方法は、従来の画像認識の技術におけるヒストグラムの演算処理の方法と同様であるため、詳細な説明は省略する。
画像認識装置30では、ヒストグラム演算部360が最終的に生成したヒストグラムのデータが、認識対象データ950である。図6には、データ保存部90に、教師データ群910と、ヒストグラム演算部360が生成した認識対象データ950とを保存している状態を示している。
調停部340は、画像認識装置30が画像認識の処理を実行する際に、画像認識装置30内の構成要素、つまり、ビジュアルワード演算部350、ヒストグラム演算部360、およびSVM演算部110による特徴値保存部120の利用を調停する。なお、画像認識装置30では、ビジュアルワード演算部350と、ヒストグラム演算部360と、SVM演算部110とのそれぞれによる処理は、排他的に行われる。より具体的には、画像認識装置30では、最初に、ビジュアルワード演算部350が、入力された画像におけるビジュアルワードの集合のデータを生成する。次に、ヒストグラム演算部360が、入力された画像全体のヒストグラムを生成する。最後に、SVM演算部110が、教師データ群910において分類された比較対象物の種類ごとに類似度を算出して画像認識装置30が画像認識の処理を行って認識した認識対象物の情報(画像認識の処理の結果)として出力する。
従って、調停部340は、画像認識装置30が画像認識の処理を実行する際のそれぞれの演算処理の段階において、特徴値保存部120を利用する構成要素を、排他的に割り当てる。より具体的には、ビジュアルワード演算部350が入力された画像におけるそれぞれのビジュアルワードを生成するビジュアルワードの演算処理の段階では、ビジュアルワード演算部350を、特徴値保存部120を利用する構成要素として割り当てる。その後、ヒストグラム演算部360が入力された画像全体のヒストグラム(認識対象データ950)を生成るヒストグラムの演算処理の段階では、ヒストグラム演算部360を、特徴値保存部120を利用する構成要素として割り当てる。最後に、SVM演算部110が、教師データ群910において分類されたそれぞれの比較対象物の種類ごとの類似度を表す情報を出力するSVM演算の処理の段階では、SVM演算部110を、特徴値保存部120を利用する構成要素として割り当てる。
そして、調停部340は、特徴値保存部120を利用する構成要素として割り当てたそれぞれの構成要素から出力された、特徴値保存部120へのデータの書き込み制御および特徴値保存部120からのデータの読み出し制御に応じて、特徴値保存部120へのアクセスを行う。
特徴値保存部120は、調停部340によって利用が割り当てられた画像認識装置30内の構成要素が一時的に保存するデータを保存する。なお、特徴値保存部120がデータを保存することはできる記憶容量は、調停部340によって利用が割り当てられる画像認識装置30内の構成要素がそれぞれの処理を実行する際に特徴値保存部120に保存する最大の量のデータを記憶することができる記憶容量である。つまり、特徴値保存部120の記憶容量は、ビジュアルワード演算部350、ヒストグラム演算部360、およびSVM演算部110の内、特徴値保存部120に最も多くのデータを保存する構成要素が処理を実行する際に必要な最大の記憶容量と同じ記憶容量である。
なお、一般的に、画像認識装置においては、ビジュアルワードの演算処理において最も多くの演算途中のデータなどを一時的に保存する。従って、特徴値保存部120の記憶容量は、ビジュアルワード演算部350がビジュアルワードの集合のデータを生成する処理を行う際に必要な量のデータを記憶することができる記憶容量である。
このように、画像認識装置30は、特徴値保存部120の利用を調停する調停部340を備え、特徴値保存部120を、SVM演算部110と、ビジュアルワード演算部350と、ヒストグラム演算部360とのそれぞれで共有する。これにより、画像認識装置30では、画像認識の処理におけるSVM演算の処理を行う際にデータ保存部90から教師データを読み出す回数(データ保存部90へのアクセス回数)を低減するために、例えば、SRAMなどの保存部(メモリ)を特徴値保存部120として専用に備えることなく、特徴値算出部111が算出したそれぞれの教師データごとの特徴値を特徴値保存部120に保存する構成にすることができる。
ここで、画像認識装置30が画像認識の処理を行う際のデータの流れについて説明する。図7は、本発明の第3の実施形態の画像認識装置30において画像認識の処理を行う際のデータの流れを示したである。なお、図7には、図2に示した第1の実施形態の画像認識装置10におけるデータの流れと同様に、画像認識装置30が行う画像認識の処理におけるSVM演算の処理のデータの流れを示している。従って、図7に示したデータの流れも、画像認識装置30に入力された画像に対してビジュアルワード演算部350が実行するビジュアルワードの演算処理、およびヒストグラム演算部360がビジュアルワードに基づいて実行するヒストグラムの演算処理が終了している状態から画像認識装置30がSVM演算の処理を行う際のデータの流れを示している。なお、図7に示した画像認識装置30におけるデータの流れには、図2に示した第1の実施形態の画像認識装置10におけるデータの流れと同様のデータの流れを含んでいる。
画像認識装置30におけるSVM演算の処理では、SVM演算部110に備えた特徴値算出部111が、データ保存部90から認識対象データ950を読み出す(経路C3−1)。さらに、特徴値算出部111は、データ保存部90から教師データ群910に含まれる全ての教師データを順次読み出す(経路C1−2)。そして、特徴値算出部111は、読み出した認識対象データ950と教師データとのそれぞれに基づいて特徴値を算出し、算出した特徴値のそれぞれを、調停部340を介して特徴値保存部120に出力して一旦保存する。図7には、特徴値算出部111が算出したそれぞれの特徴値121を、特徴値保存部120に保存している状態を示している。
その後、画像認識装置30におけるSVM演算の処理では、SVM演算部110に備えた累積加算部112が、特徴値算出部111が特徴値保存部120に保存した特徴値121の中から、同じ種類の比較対象物に分類された教師データに対応する特徴値121を、調停部340を介して読み出す。そして、累積加算部112は、読み出したそれぞれの特徴値121を累積加算し、累積加算した特徴値を、読み出した特徴値121が表す種類の比較対象物との類似度を表す情報(画像認識の処理の結果)として出力する(経路C3−3)。
なお、画像認識装置30が行う画像認識の処理におけるSVM演算の処理の処理手順は、特徴値保存部120への特徴値の保存する際、および特徴値保存部120からの特徴値の読み込みを行う際に、調停部340を介してそれぞれの特徴値のデータが受け渡しされる以外は、図3に示した第1の実施形態の画像認識装置10が行う画像認識の処理におけるSVM演算の処理の処理手順と同様である。
より具体的には、画像認識装置30が図3に示したSVM演算の処理の処理手順を開始した後、特徴値算出部111は、図3に示したステップS120において、それぞれの教師データに対応する特徴値を、調停部340を介して特徴値保存部120に出力して保存させる。また、累積加算部112は、図3に示したステップS200において、特徴値保存部120に保存された同じ種類の比較対象物に分類された教師データに対応するそれぞれの特徴値を、調停部340を介して読み出す。画像認識装置30が行うSVM演算の処理の処理手順は、上述したステップS100とステップS200とにおいてそれぞれの特徴値が伝送される経路が異なる以外は、第1の実施形態の画像認識装置10が行うSVM演算の処理の処理手順と同様である。つまり、画像認識装置30におけるSVM演算の処理自体は、第1の実施形態の画像認識装置10と同様である。
これにより、画像認識装置30でも、第1の実施形態の画像認識装置10と同様に、SVM演算によって算出したそれぞれの比較対象物の種類ごとの類似度を表す情報を、画像認識の処理を行って認識した認識対象物の情報(画像認識の処理の結果)として出力することができる。
第3の実施形態によれば、画像認識の処理において排他的に演算の処理を行う、ビジュアルワード演算部(ビジュアルワード演算部350)と、ヒストグラム演算部(ヒストグラム演算部360)と、SVM演算部(SVM演算部110)とによるデータ保存部(特徴値保存部120)の利用を調停する調停部(調停部340)、をさらに備え、調停部340は、特徴値保存部120の利用を割り当てたいずれか1つの演算部(ビジュアルワード演算部350、ヒストグラム演算部360、またはSVM演算部110)による特徴値保存部120へのアクセスに応じて特徴値保存部120にアクセスする画像認識装置(画像認識装置30)が構成される。
また、第3の実施形態によれば、特徴値保存部120は、ビジュアルワード演算部350と、ヒストグラム演算部360と、SVM演算部110とがそれぞれの処理を実行する際に特徴値保存部120に一時的に保存する最大の量のデータを記憶することができる記憶容量を有する画像認識装置30が構成される。
上記に述べたように、第3の実施形態の画像認識装置30は、第1の実施形態の画像認識装置10と同様に、SVM演算において教師データ群910に含まれる全ての教師データに対応する特徴値を保存するための特徴値保存部120を備える。そして、第3の実施形態の画像認識装置30でも、第1の実施形態の画像認識装置10と同様に、画像認識の処理におけるSVM演算において、教師データ群910に含まれる全ての教師データに対応する特徴値を特徴値保存部120に一旦保存した後に、同じ種類の比較対象物に分類された教師データに対応する特徴値を読み出して累積加算し、それぞれの比較対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。これにより、第3の実施形態の画像認識装置30でも、第1の実施形態の画像認識装置10と同様に、画像認識の処理を行う際の負荷を、従来の画像認識の処理を行う画像認識装置よりも軽減することができる。なお、第3の実施形態の画像認識装置30において画像認識の処理を行う際の負荷を軽減することができるということも、第1の実施形態の画像認識装置10と同様に、画像認識装置30を備えた画像認識システム3における画像認識の処理の高効率化や処理速度の向上につながる。
また、第3の実施形態の画像認識装置30では、調停部340を備え、特徴値保存部120を、画像認識装置30内の構成要素(ビジュアルワード演算部350、ヒストグラム演算部360、およびSVM演算部110)で共有する。これにより、第3の実施形態の画像認識装置30では、SVM演算部110以外の構成要素が利用する保存部(メモリ)を、SVM演算部110がSVM演算の処理を行う際に教師データ群910に含まれる全ての教師データに対応する特徴値を保存するための特徴値保存部120として利用することができる。このことにより、第3の実施形態の画像認識装置30は、SVM演算部110が利用する専用の保存部(メモリ)として特徴値保存部120を備えることなく、第1の実施形態の画像認識装置10と同様の効果を得ることができる。なお、第3の実施形態の画像認識装置30においてSVM演算部110が利用する専用の特徴値保存部120を備える必要がないということは、画像認識装置30の回路規模の増大を抑えることができるということにもつながる。
なお、第3の実施形態の画像認識装置30も、第1の実施形態の画像認識装置10と同様に、画像認識装置30にDMA部を備えた構成であってもよい。また、第3の実施形態の画像認識装置30も、第1の実施形態の画像認識装置10と同様に、認識する比較対象物の種類数や教師データ群910の構成に応じて、第3の実施形態の画像認識装置30の動作を切り替える構成にしてもよい。
なお、第3の実施形態の画像認識装置30では、第1の実施形態の画像認識装置10に調停部340を備えた構成について説明したが、第2の実施形態の画像認識装置20に調停部340を備えた構成にしてもよい。この場合、第2の実施形態の画像認識装置20と同様の効果に加えて、特徴値保存部120を他の構成要素と共有することによる上述した効果を得ることができる。
上記に述べたように、本発明を実施するための形態によれば、画像認識装置に、画像認識の処理におけるSVM演算において用いる全ての教師データに対応する特徴値を全て保存するための特徴値保存部を備える。そして、本発明を実施するための形態では、画像認識の処理におけるSVM演算において、それぞれの教師データに1回ずつアクセスして、それぞれの教師データに対応する特徴値を全て算出して特徴値保存部に一旦保存する。その後、本発明を実施するための形態では、特徴値保存部に保存した特徴値の中から、同じ種類の対象物に分類された教師データに対応する特徴値を読み出して累積加算して、それぞれの対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。これにより、本発明を実施するための形態では、従来の画像認識装置のように、同じ教師データにアクセスして同じ特徴値を算出するという重複した処理を行うことがなく、画像認識装置においてSVM演算の処理を行う際の演算負荷を軽減することができる。
さらに、本発明を実施するための形態では、画像認識装置に、可逆圧縮された教師データ群を解凍するための教師データ解凍部を備える。そして、本発明を実施するための形態では、教師データ解凍部が、SVM演算に先だって可逆圧縮された教師データ群を解凍する。その後、本発明を実施するための形態では、教師データ解凍部が解凍したそれぞれの教師データに対応する特徴値を全て算出して特徴値保存部に一旦保存した後に、同じ種類の対象物に分類された教師データに対応する特徴値を累積加算し、それぞれの対象物の種類ごとの類似度を表す情報(画像認識の処理の結果)として出力する。これにより、本発明を実施するための形態では、SVM演算において用いる教師データが可逆圧縮された形式である場合でも、つまり、教師データの形式に関係なく、画像認識装置においてSVM演算の処理を行う際の演算負荷を、従来の画像認識装置よりも軽減することができる。
また、本発明を実施するための形態では、画像認識装置に、特徴値保存部を利用する構成要素を調停する調停部を備える。そして、本発明を実施するための形態では、特徴値保存部を、画像認識装置において排他的に処理を行う複数の構成要素で共有する。これにより、本発明を実施するための形態では、SVM演算において利用する専用の保存部として特徴値保存部を備えることなく、画像認識装置の回路規模の増大を抑えた状態で、画像認識装置においてSVM演算の処理を行う際の演算負荷を、従来の画像認識装置よりも軽減することができる。
これらのことにより、本発明を実施するための形態では、画像認識装置を備えた画像認識システムでは、画像認識の処理を効率的に行うことができ、画像認識の処理速度を向上させることができる。
なお、本発明を実施するための形態では、教師データ群910や圧縮教師データ群911が、4種類のそれぞれの比較対象物に対応した1500個ずつのヒストグラムを含み、5000個の教師データで構成されている場合の例で説明した。しかし、教師データ群910や圧縮教師データ群911が表す比較対象物の種類数は、本発明を実施するための形態で説明した数に限定されるものではない。また、教師データ群910や圧縮教師データ群911に含まれる教師データの数も、本発明を実施するための形態で説明した数に限定されるものではない。例えば、教師データ群910や圧縮教師データ群911が表すそれぞれの比較対象物に対応したヒストグラムの数が、ある比較対象物に対応したヒストグラムは1500個であり、他の比較対象物に対応したヒストグラムは1200個であるなど、それぞれの比較対象物で同じ数ではないことも考えられる。
このような場合であっても、本発明の考え方を適用し、上述したように、認識する比較対象物の種類数や教師データの構成に応じて動作に切り替えることによって、本発明と同様の効果を得ることができる。つまり、本発明の考え方を適用した画像認識の処理を行うために全ての教師データを読み出す回数と、従来の画像認識の処理を行うために比較対象物の種類ごとに対応する教師データを読み出す回数とを比較し、教師データを読み出す回数が少ない方の画像認識の処理を行うように動作を切り替える。より具体的には、認識するそれぞれの比較対象物に対応するヒストグラムの数を合計した数、すなわち、従来の画像認識の処理において教師データを読み出す回数と、本発明の考え方を適用した画像認識の処理において全ての教師データを読み出す回数とを比較し、教師データを読み出す回数が少ない方の画像認識の処理を行うように動作を切り替える。これにより、教師データ群910や圧縮教師データ群911が表す比較対象物の種類数や、教師データ群910や圧縮教師データ群911に含まれる教師データの数が、本発明を実施するための形態で説明した例と異なる場合でも、本発明と同様の効果を得ることができる。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
1,2,3・・・画像認識システム
10,20,30・・・画像認識装置
110・・・SVM演算部
111・・・特徴値算出部
112・・・累積加算部
120・・・特徴値保存部(データ保存部)
230・・・教師データ解凍部
340・・・調停部
350・・・ビジュアルワード演算部
360・・・ヒストグラム演算部
90・・・データ保存部
910・・・教師データ群
911・・・圧縮教師データ群(教師データ群)
950・・・認識対象データ

Claims (6)

  1. 入力された画像に対する画像認識の処理を、認識する対象物である比較対象物の画像のヒストグラムである教師データを、前記比較対象物の種類ごとに分類して複数含んだ教師データ群に基づいて行う画像認識装置であって、
    前記画像のビジュアルワードに基づいて生成されたヒストグラムに対するサポートベクタマシン(SVM)演算を、前記教師データ群に含まれる複数の前記教師データのそれぞれに基づいて行うSVM演算部と、
    前記画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部と、
    を備え、
    前記SVM演算部は、
    入力された前記画像のヒストグラムと、前記教師データが表す前記比較対象物のヒストグラムとを比較し、入力された前記画像に写されている対象物である認識対象物と前記比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出部と、
    同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を累積加算する累積加算部と、
    を具備し、
    前記SVM演算の処理において、
    前記特徴値算出部は、
    前記教師データ群に含まれる全ての前記教師データに対応する前記特徴値を、それぞれの前記教師データごとに算出し、算出した全ての前記特徴値を前記データ保存部に保存させ、
    前記累積加算部は、
    前記特徴値算出部が全ての前記特徴値を前記データ保存部に保存させた後に、保存された全ての前記特徴値の中から、同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を読み出して累積加算し、累積加算した前記特徴値を、前記画像認識の処理において前記認識対象物を認識した結果として出力する、
    ことを特徴とする画像認識装置。
  2. 前記特徴値算出部は、
    前記教師データ群に含まれる前記教師データの数が、前記画像認識の処理において前記認識対象物を認識した全ての結果を出力するまでに前記累積加算部が前記データ保存部に保存された前記特徴値を読み出して累積加算する回数よりも少ない場合に、前記教師データ群に含まれる全ての前記教師データに対応する全ての前記特徴値を算出して前記データ保存部に保存させる、
    ことを特徴とする請求項1に記載の画像認識装置。
  3. 全ての前記教師データを1つにまとめた状態で可逆圧縮した形式で入力された前記教師データ群を解凍してそれぞれの前記教師データに復元する教師データ解凍部、
    をさらに備え、
    前記SVM演算の処理において、
    前記教師データ解凍部は、
    前記教師データ群を解凍してそれぞれの前記教師データに復元し、
    前記特徴値算出部は、
    前記教師データ解凍部によって復元されたそれぞれの前記教師データに対応する全ての前記特徴値を算出して前記データ保存部に保存させる、
    ことを特徴とする請求項2に記載の画像認識装置。
  4. 前記画像認識の処理において排他的に演算の処理を行う、ビジュアルワード演算部と、ヒストグラム演算部と、前記SVM演算部とによる前記データ保存部の利用を調停する調停部、
    をさらに備え、
    前記調停部は、
    前記データ保存部の利用を割り当てたいずれか1つの演算部による前記データ保存部へのアクセスに応じて前記データ保存部にアクセスする、
    ことを特徴とする請求項2または請求項3に記載の画像認識装置。
  5. 前記データ保存部は、
    前記ビジュアルワード演算部と、前記ヒストグラム演算部と、前記SVM演算部とがそれぞれの処理を実行する際に前記データ保存部に一時的に保存する最大の量のデータを記憶することができる記憶容量を有する、
    ことを特徴とする請求項4に記載の画像認識装置。
  6. 入力された画像に対する画像認識の処理を、認識する対象物である比較対象物の画像のヒストグラムである教師データを、前記比較対象物の種類ごとに分類して複数含んだ教師データ群に基づいて行う画像認識装置における画像認識方法であって、
    前記画像のビジュアルワードに基づいて生成されたヒストグラムに対するサポートベクタマシン(SVM)演算を、前記教師データ群に含まれる複数の前記教師データのそれぞれに基づいて行うSVM演算ステップ、
    を含み、
    前記SVM演算ステップは、
    入力された前記画像のヒストグラムと、前記教師データが表す前記比較対象物のヒストグラムとを比較し、入力された前記画像に写されている対象物である認識対象物と前記比較対象物とが類似している度合いを表す特徴値を算出する特徴値算出ステップと、
    同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を累積加算する累積加算ステップと、
    を含み、
    前記SVM演算の処理において、
    前記特徴値算出ステップは、
    前記教師データ群に含まれる全ての前記教師データに対応する前記特徴値を、それぞれの前記教師データごとに算出し、算出した全ての前記特徴値を、前記画像認識の処理の途中で生成されるデータを一時的に保存するデータ保存部に保存させ、
    前記累積加算ステップは、
    前記特徴値算出ステップにおいて全ての前記特徴値を前記データ保存部に保存させた後に、保存された全ての前記特徴値の中から、同じ種類の前記比較対象物に分類された前記教師データに対応する前記特徴値を読み出して累積加算し、累積加算した前記特徴値を、前記画像認識の処理において前記認識対象物を認識した結果として出力する、
    ことを特徴とする画像認識方法。
JP2015124786A 2015-06-22 2015-06-22 画像認識装置および画像認識方法 Ceased JP2017010255A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015124786A JP2017010255A (ja) 2015-06-22 2015-06-22 画像認識装置および画像認識方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015124786A JP2017010255A (ja) 2015-06-22 2015-06-22 画像認識装置および画像認識方法
CN201680035683.1A CN107710277A (zh) 2015-06-22 2016-04-19 图像识别装置和图像识别方法
PCT/JP2016/062357 WO2016208260A1 (ja) 2015-06-22 2016-04-19 画像認識装置および画像認識方法
US15/846,618 US20180129914A1 (en) 2015-06-22 2017-12-19 Image recognition device and image recognition method

Publications (1)

Publication Number Publication Date
JP2017010255A true JP2017010255A (ja) 2017-01-12

Family

ID=57585371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015124786A Ceased JP2017010255A (ja) 2015-06-22 2015-06-22 画像認識装置および画像認識方法

Country Status (4)

Country Link
US (1) US20180129914A1 (ja)
JP (1) JP2017010255A (ja)
CN (1) CN107710277A (ja)
WO (1) WO2016208260A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180040286A (ko) * 2016-10-12 2018-04-20 삼성전자주식회사 디스플레이 장치, 및 그 제어방법
US10909599B2 (en) * 2018-03-08 2021-02-02 Capital One Services, Llc Systems and methods for car shopping using messaging framework

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4442119B2 (ja) * 2003-06-06 2010-03-31 オムロン株式会社 画像認識装置および画像認識方法、並びに、画像認識装置のティーチング装置およびティーチング方法
JP4499527B2 (ja) * 2004-10-19 2010-07-07 オリンパス株式会社 画像処理装置、画像記録装置、及び画像処理方法
US7949186B2 (en) * 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
JP4757116B2 (ja) * 2006-06-30 2011-08-24 キヤノン株式会社 パラメータ学習方法及びその装置、パターン識別方法及びその装置、プログラム
JP5683882B2 (ja) * 2009-10-15 2015-03-11 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5435290B2 (ja) * 2010-06-24 2014-03-05 株式会社Lixil 自動水栓装置
CN103426156A (zh) * 2012-05-15 2013-12-04 中国科学院声学研究所 一种基于svm分类器的sas图像分割方法及系统
JP5880454B2 (ja) * 2013-01-11 2016-03-09 富士ゼロックス株式会社 画像識別装置及びプログラム

Also Published As

Publication number Publication date
CN107710277A (zh) 2018-02-16
US20180129914A1 (en) 2018-05-10
WO2016208260A1 (ja) 2016-12-29

Similar Documents

Publication Publication Date Title
US20180300605A1 (en) Reducing power consumption in a neural network processor by skipping processing operations
US9411726B2 (en) Low power computation architecture
US20200074288A1 (en) Convolution operation processing method and related product
US20160358069A1 (en) Neural network suppression
CN109919311B (zh) 生成指令序列的方法、执行神经网络运算的方法和装置
US10013628B2 (en) Information processing apparatus and information processing method
US20180253635A1 (en) Neural network devices and methods of operating the same
JP5417368B2 (ja) 画像識別装置及び画像識別方法
US20180253641A1 (en) Arithmetic processing apparatus and control method therefor
JP5388835B2 (ja) 情報処理装置及び情報処理方法
CN108681773B (zh) 数据运算的加速方法、装置、终端及可读存储介质
WO2016208260A1 (ja) 画像認識装置および画像認識方法
US20200327079A1 (en) Data processing method and device, dma controller, and computer readable storage medium
US20210224125A1 (en) Operation Accelerator, Processing Method, and Related Device
WO2019127507A1 (zh) 数据处理方法、设备、dma控制器及计算机可读存储介质
KR20190013162A (ko) 컨볼루션 뉴럴 네트워크를 위한 하드웨어 가속기 및 컨볼루션 연산량 감소 방법
US20200218777A1 (en) Signal Processing Method and Apparatus
US20200005074A1 (en) Semantic image segmentation using gated dense pyramid blocks
CN110309912B (zh) 数据存取方法、装置、硬件加速器、计算设备、存储介质
CN111338695A (zh) 基于流水线技术的数据处理方法及相关产品
US20210248475A1 (en) Electronic apparatus for performing deconvolution calculation and controlling method thereof
US20200394516A1 (en) Filter processing device and method of performing convolution operation at filter processing device
KR20200082613A (ko) 프로세싱 시스템
US20200356844A1 (en) Neural network processor for compressing featuremap data and computing system including the same
US20210004667A1 (en) Operation processing apparatus and operation processing method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20190917