JP2018180879A - 物体認識装置、物体認識システム、及び物体認識方法 - Google Patents

物体認識装置、物体認識システム、及び物体認識方法 Download PDF

Info

Publication number
JP2018180879A
JP2018180879A JP2017078937A JP2017078937A JP2018180879A JP 2018180879 A JP2018180879 A JP 2018180879A JP 2017078937 A JP2017078937 A JP 2017078937A JP 2017078937 A JP2017078937 A JP 2017078937A JP 2018180879 A JP2018180879 A JP 2018180879A
Authority
JP
Japan
Prior art keywords
information
reliability
discrimination
data
object recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017078937A
Other languages
English (en)
Other versions
JP2018180879A5 (ja
JP6785181B2 (ja
Inventor
全 孔
Quan Kong
全 孔
裕樹 渡邉
Hiroki Watanabe
裕樹 渡邉
直人 秋良
Naoto Akira
直人 秋良
大輔 松原
Daisuke Matsubara
大輔 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2017078937A priority Critical patent/JP6785181B2/ja
Priority to US16/604,226 priority patent/US10963736B2/en
Priority to DE112017007437.1T priority patent/DE112017007437T5/de
Priority to CN201780089469.9A priority patent/CN110537188B/zh
Priority to PCT/JP2017/045975 priority patent/WO2018189962A1/ja
Publication of JP2018180879A publication Critical patent/JP2018180879A/ja
Publication of JP2018180879A5 publication Critical patent/JP2018180879A5/ja
Application granted granted Critical
Publication of JP6785181B2 publication Critical patent/JP6785181B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Abstract

【課題】精度よく物体を認識することが可能な物体認識技術を提供する。【解決手段】物体認識装置は、物体について取得された対象データ(画像データ等)に基づき、特定の性質を強調した性質データを複数の異なる性質について生成し、性質データの夫々の判別に用いる特徴量である判別用特徴量を性質データ毎に抽出し、性質データの夫々について求めた判別用特徴量に基づき、性質データの判別に用いる判別情報を性質データ毎に求め、性質データの夫々について求めた判別情報の信頼性の推定に用いる信頼性特徴量を性質データ毎に抽出し、性質データの夫々について求めた信頼性特徴量に基づき、判別情報の信頼性を性質データ毎に推定し、性質データ毎に求めた判別情報と、性質データ毎に求めた信頼性とを合成した合成情報を生成し、合成情報に基づき物体の認識に関する処理を行い認識結果を生成する。【選択図】図1

Description

本発明は、物体認識装置、物体認識システム、及び物体認識方法に関する。
特許文献1には、「予め多くの物体について、全体または1つ以上の部分から性質の異なる1つ以上の情報を入力し、前記情報の統合により得られた統合情報をクラス毎に分類し、前記クラス毎に分類された統合情報から求めた特徴抽出行列と、前記特徴抽出行列からその代表特徴量とを求めておき、入力物体から全体または1つ以上の部分から性質の異なる情報を入力し、前記性質の異なる情報を統合し、前記統合情報と前記特徴抽出行列を用いて特徴量を算出し、前記代表特徴量と前記入力物体の特徴量との類似度の最も高いものを認識結果として1つまたは1つ以上出力する」と記載されている。
特開2001−14465号公報
特許文献1では、入力物体から全体または1つ以上の部分から性質の異なる情報を入力し、性質の異なる情報を統合し、統合情報と特徴抽出行列を用いて特徴量を算出し、代表特徴量と入力物体の特徴量との類似度の最も高いものを認識結果として1つまたは1つ以上出力するようにしている。
しかしこのように複数の情報を画一的に一つの情報に統合し、統合した情報から求めた特徴量によって物体の複数の性質を統合的に表現する方式では、認識に有利な特徴量が平均化され、また統合した情報中に含まれている認識に不利となるような情報も併せて学習されてしまうため、認識精度の向上が頭打ちとなるという課題があった。
本発明は、このような背景に鑑みてなされたものであり、精度よく物体を認識することが可能な物体認識装置、物体認識システム、及び物体認識方法を提供することを目的とする。
本発明の一つは、物体認識装置であって、物体について取得されたデータである対象データに基づき、特定の性質を強調したデータである性質データを複数の異なる性質について生成する異種性質データ生成部と、前記性質データの夫々の判別に用いる特徴量である判別用特徴量を前記性質データ毎に抽出する判別用特徴量抽出部と、前記性質データの夫々について求めた前記判別用特徴量に基づき、前記の性質データの判別に用いる情報である判別情報を前記性質データ毎に求める判別情報算出部と、前記性質データの夫々について求めた前記判別情報の信頼性の推定に用いる特徴量である信頼性特徴量を前記性質データ毎に抽出する信頼性特徴量抽出部と、前記性質データの夫々について求めた前記信頼性特徴量に基づき、前記判別情報の信頼性を前記性質データ毎に推定する信頼性推定部と、前記性質データ毎に求めた前記判別情報と、前記性質データ毎に求めた前記信頼性とを合成した情報である合成情報を生成する合成情報生成部と、前記合成情報に基づき前記物体の認識に関する処理を行い認識結果を生成する物体認識処理部と、を備える。
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、
及び図面により明らかにされる。
本発明によれば、精度よく物体を認識することができる。
第1実施形態の物体認識装置の機能ブロック図である。 物体認識装置を実現するためのハードウェアの一例である。 判別器情報の一例である。 信頼性推定器情報の一例である。 信頼性推定部の機能ブロック図である。 正判別尤度値を算出する際に行う処理の一例である。 誤判別尤度値を算出する際に行う処理の一例である。 判別器重み情報の一例である。 物体認識処理を説明するフローチャートである。 第1実施形態の物体認識装置の機能ブロック図である。 学習部周辺の機能ブロック図である。 学習用情報の一例である。 正誤付き信頼性特徴量一例である。 学習処理を説明するフローチャートである。 第3実施形態の物体認識装置の異種性質データ生成部周辺の機能ブロック図である。 スケーリング情報の一例である。 RGB変換テーブルの一例である。 HSV変換処理部による変換の様子を示す図である。 物体認識システムの機能ブロック図である。 認識結果表示画面の一例である。
以下、実施形態について図面を参照しつつ説明する。尚、以下の説明において、同一の又は類似する構成について同一の符号を付して重複した説明を省略することがある。
[第1実施形態]
図1は第1実施形態として説明する物体認識装置100の機能ブロック図である。物体認識装置100は、物体を撮影した映像データ等の物体について取得されたデータ(以下、対象データと称する。)に基づき物体認識に関する処理を行う。より詳細には、物体認識装置100は、対象データに基づき、特定の性質(属性)を強調したデータ(以下、性質データと称する。)を複数の異なる性質について生成し、生成した性質データの夫々について、物体の判別に用いる特徴量(以下、判別用特徴量と称する。)と、当該判別用特徴量に基づき物体の判別を行った場合の信頼性の推定に用いる特徴量(以下、信頼性特徴量と称する。)と、を抽出する。そして物体認識装置100は、性質データの夫々について抽出した判別用特徴量と信頼性特徴量とに基づき物体の認識に関する処理を行う。
図2に物体認識装置100を実現するためのハードウェア(情報処理装置)の一例を示す。物体認識装置100は、プロセッサ51、主記憶装置52、補助記憶装置53、入力装置54、出力装置55、及び通信装置56の各構成を備える。これらはバス等の通信手段を介して互いに通信可能に接続されている。尚、物体認識装置100の全部又は一部を、例えば、クラウドシステムにおけるクラウドサーバのような仮想的な資源を用いて実現してもよい。
プロセッサ51は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)等を用いて構成されている。プロセッサ51が、主記憶装置52に格納されているプログラムを読み出して実行することにより、物体認識装置100の全部又は一部の機能が実現される。主記憶装置52は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性半導体メモリ(NVRAM(Non Volatile RAM))等であり、プログラムやデータを記憶する。
補助記憶装置53は、例えば、ハードディスクドライブ、SSD(Solid State Drive
)、光学式記憶装置(CD(Compact Disc)、DVD(Digital Versatile Disc)等)、ストレージシステム、ICカード、SDメモリカードや光学式記録媒体等の記録媒体の読取/書込装置等である。補助記憶装置53に格納されているプログラムやデータは主記憶装置52に随時ロードされる。補助記憶装置53は、例えば、ネットワークストレージのように物体認識装置100とは独立した構成としてもよい。
入力装置54は、外部からのデータの入力を受け付けるインタフェースであり、例えば、記録媒体(不揮発性メモリ、光学式記録媒体、磁気記録媒体、光磁気記録媒体等)の読取装置、キーボード、マウス、タッチパネル等である。尚、例えば、物体認識装置100が、通信装置56を介して他の装置からデータの入力を受け付ける構成としてもよい。
出力装置55は、処理経過や処理結果等のデータや情報を外部に提供するユーザインタフェースであり、例えば、画面表示装置(液晶ディスプレイ(Liquid Crystal Display)、プロジェクタ、グラフィックカード等)、印字装置、記録媒体の記録装置等である。尚、例えば、物体認識装置100が、処理経過や処理結果等のデータを通信装置56を介して他の装置に提供する構成としてもよい。
通信装置56は、画像取得装置2等の他の装置や素子との間の通信を実現する有線方式又は無線方式の通信インタフェースであり、例えば、NIC(Network Interface Card)、無線通信モジュール等である。
図1に示すように、物体認識装置100は、情報記憶部110、対象データ取得部111、異種性質データ生成部112、特徴量抽出部113A,113B、判別部114A,114B、合成情報生成部118、物体認識処理部119、及び認識結果出力部120を備える。特徴量抽出部113は、判別用特徴量抽出部1131及び信頼性特徴量抽出部1132を備える。判別部114は、判別情報算出部1141及び信頼性推定部1142を備える。尚、以下の説明において、構成の名称に付した符号の添字(アルファベット部分)を省略して構成を総称(例えば、「特徴量抽出部113A」や「特徴量抽出部113B」を「特徴量抽出部113」と総称する等)することがある。
上記の各機能は、例えば、プロセッサ51が、主記憶装置52や補助記憶装置53に格納されているプログラムを読み出して実行することにより実現される。またこれらの機能は、例えば、物体認識装置100が備えるハードウェア(FPGA(Field-Programmable
Gate Array)、ASIC(Application Specific Integrated Circuit)等)によって実現される。物体認識装置100は、これらの機能以外に、例えば、オペレーティングシステム、デバイスドライバ、DBMS(DataBase Management System)等の機能を備えていてもよい。
図1に示す機能のうち、情報記憶部110は、判別器情報151、信頼性推定器情報152、及び判別器重み情報153を記憶する。情報記憶部110は、これらの情報を、例えば、ファイルシステムやDBMSによって管理する。
判別器情報151は、性質データの種類毎に用意される判別器に関する情報(以下、判別器情報とも称する。)を含む。信頼性推定器情報152は、性質データの種類毎に用意される信頼性推定器に関する情報(以下、信頼性推定器情報とも称する。)を含む。判別器重み情報153は、判別器の重みに関する情報(以下、判別器重み情報とも称する。)を含む。判別器、信頼性推定器、判別器重み情報の詳細については後述する。情報記憶部110が記憶する情報は、例えば、入力装置54や通信装置56を介して設定される。
対象データ取得部111は、入力装置54や通信装置56を介して外部から対象データを取得する。対象データは、例えば、可視カメラ、ステレオカメラ、IR(赤外線)カメラ、放射線(X線)撮影装置等によって取得されるデータ(画像データ、RAWデータ等)である。
異種性質データ生成部112は、外部から入力される対象データに基づき、特定の性質を強調したデータである性質データを複数の異なる性質について生成する。例えば、対象データがRGB(Red Green Blue)形式の画像データである場合、異種性質データ生成部112は、対象データからR(赤色)成分を取り出したもの、対象データからG(緑色)成分を取り出したもの、及び対象データからB(青色)成分を取り出したものを、夫々性質データとして生成する。異種性質データ生成部112は、生成した各性質データを、夫々ことなる特徴量抽出部113と判別部114の組に入力する。本実施形態では、説明の簡単のため、異種性質データ生成部112は、一例として2種類の性質データ(以下、性質Aデータ、性質Bデータと称する。)を生成するものとし、性質Aデータについては特徴量抽出部113Aに、性質Bデータについては特徴量抽出部113Bに、夫々入力するものとする。
特徴量抽出部113の判別用特徴量抽出部1131は、性質データから、性質データの夫々の判別に用いる特徴量である判別用特徴量を抽出し、抽出した判別用特徴量を判別部114の判別情報算出部1141に入力する。判別用特徴量は、例えば、対象データの形状を識別するための情報を含む。判別用特徴量抽出部1131は、例えば、対象データの特徴の変化に対してロバストなベクトル情報を判別用特徴量として抽出する。判別用特徴量の抽出方法は必ずしも限定されないが、例えば、判別用特徴量抽出部1131は、下記の参考文献1に記載されている方法により性質データから判別用特徴量を抽出する。
(参考文献1)Bag of contour fragments for robust shape classification
X Wang, B Feng, X Bai, W Liu, LJ Latecki, Pattern Recognition 47 (6), 2116-2125
特徴量抽出部113の信頼性特徴量抽出部1132は、性質データの夫々について判別情報算出部1141が求めた後述する判別情報の信頼性の推定に用いる特徴量である信頼性特徴量を抽出し、判別部114の信頼性推定部1142に入力する。信頼性特徴量は、判別用特徴量とは異なる観点で抽出される特徴量であり、例えば、対象データのコンテキスト情報を表すベクトル情報(例えば、対象データに含まれている色情報の出現頻度をヒストグラム化したベクトル情報等)等である。
判別部114の判別情報算出部1141は、判別用特徴量抽出部1131から入力された判別用特徴量と、判別器情報151から取得される、性質データ毎に用意された判別器とに基づき、性質データの判別に用いる情報である判別情報を求める。判定器は、例えば、SVM(Support Vector Machine)を用いて構成される。判別情報算出部1141は、例えば、ベクトル形式の判別情報を生成し、生成したベクトル形式の判別情報を合成情報生成部118に入力する。ベクトル形式の判別情報は、例えば、対象データが所属するクラスを示す識別子(以下、クラスIDとも称する。)、当該対象データの当該クラスへの所属の度合いを示す確率等の情報を含む。
図3に判別器情報151の一例を示す。判別器情報151は、性質ID1511及び判別器1512の各項目を有する一つ以上のレコードを含む。性質ID1511には、性質データの種類(性質)毎に付与される識別子(以下、性質IDと称する。)が設定される。判別器1512には、判別器の構成情報(例えば、判別器を表す数式)が設定される。
図1に戻り、信頼性推定部1142は、信頼性特徴量抽出部1132から入力される信頼性特徴量と、信頼性推定器情報152から取得される、性質データ毎の信頼性推定器情報とに基づき、判別情報算出部1141が出力する判別情報の信頼性を推定し、推定した信頼性を合成情報生成部118に入力する。
図4に信頼性推定器情報152の一例を示している。同図に示すように、信頼性推定器情報152は、性質ID1521、正判別信頼性推定器1522、誤判別信頼性推定器1523、及び判別器評価値1524の各項目を有する一つ以上のレコードで構成されている。
上記項目のうち、性質ID1521には、前述した性質IDが設定される。正判別信頼性推定器1522には、信頼性推定器(以下、正判別信頼性推定器と称する。)を構成するための情報(本例では後述する正判別尤度値マップ)が設定される。誤判別信頼性推定器1523には、信頼性推定器(以下、誤判別信頼性推定器と称する。)を構成するための情報(本例では後述する誤判別尤度値マップ)が設定される。判別器評価値1524には、判別器の評価値(例えば、判別器の信頼性の事前確率)が設定される。
図5は信頼性推定部1142の詳細を説明する機能ブロック図である。同図に示すように、信頼性推定部1142は、正判別尤度算出部611、誤判別尤度値算出部612、及び信頼性算出部620の各機能を有する。
正判別尤度算出部611は、信頼性特徴量抽出部1132から入力される信頼性特徴量と、信頼性推定器情報152から取得される正判別信頼性推定器(正判別尤度値マップ)とに基づき尤度(以下、正判別尤度値と称する。)を求め、求めた正判別尤度値を信頼性算出部620に入力する。正判別尤度値の詳細については後述する。
誤判別尤度値算出部612は、信頼性特徴量抽出部1132から入力される信頼性特徴量と、信頼性推定器情報152から取得される誤判別信頼性推定器(誤判別尤度値マップ)とに基づく尤度(以下、誤判別尤度値と称する。)を求め、求めた誤判別尤度値を信頼性算出部620に入力する。誤判別尤度値の詳細については後述する。
信頼性算出部620は、信頼性推定器情報152から取得される判別器の評価値と、正判別尤度算出部611から入力される正判別尤度値と、誤判別尤度値算出部612から入力される誤判別尤度値とに基づき、同じ性質データについて設けられた判別情報算出部1141が出力する判別情報の信頼性を求める。尚、信頼性推定器情報152の評価値は、例えば、ユーザが予め設定してもよいし、過去に行った判別の結果等の情報を用いた機械学習等の方法により自動的に生成してもよい。
図6は、正判別尤度算出部611が、信頼性特徴量抽出部1132から入力される信頼性特徴量に基づき正判別尤度値を算出する際に行う処理の一例を概念的に示した図である。同図に示すように、正判別尤度値算出部611は、正判別尤度値マップ711を記憶している。正判別尤度値マップ711は、信頼性特徴量に対応する尤度を2次元空間の各座標に対応づけた情報を含む。正判別尤度値算出部611は、信頼性特徴量に対応する座標に設定されている正判別尤度値を出力する。尚、正判別尤度値マップ711は、性質デー
タの判別が正解しやすい領域ほど高い尤度値となるように設定されている。
図7は、誤判別尤度値算出部612が、信頼性特徴量抽出部1132から入力された信頼性特徴量に基づき誤判別尤度値を算出する際に行う処理の一例を概念的に示した図である。同図に示すように、誤判別尤度値算出部612は、誤判別尤度値マップ811を記憶している。誤判別尤度値マップ811は、信頼性特徴量に対応する尤度を2次元空間の各座標に対応づけた情報を含む。誤判別尤度値算出部612は、入力された信頼性特徴量に対応する座標に設定されている誤判別尤度値を出力する。尚、誤判別尤度値マップ811は、性質データの判別が不正解になりやすい領域ほど高い尤度値となるように設定されている。
尚、正判別尤度値マップ711や誤判別尤度値マップ811の態様は必ずしも限定されない。正判別尤度値マップ711や誤判別尤度値マップ811は、例えば、ユーザが経験等に基づいて手動で指定してもよいし、実際にデータを用いて判別が正解しやすいかどうかの評価を実施した結果に基づき機械学習等の方法により自動的に生成してもよい。
図5に戻り、信頼性算出部620は、正判別尤度値算出部611が出力した正判別尤度値を、正判別尤度値算出部611から出力される正判別尤度値と誤判別尤度値算出部から出力される誤判別尤度値の加算値で除算した値に、信頼性推定器情報152から取得した評価値を乗算した値を信頼性として合成情報生成部118に入力する。例えば、信頼性算出部620は、前述した信頼性rを次式から求める。尚、nは性質の種類を表す。
Figure 2018180879
上式において、Cは信頼性特徴量抽出部1132から渡される信頼性特徴量である。またp(C|O=1)は、正判別尤度値算出部611によって求められる正判別尤度値であり、p(C|O=−1)は、誤判別尤度算出部612によって求められる誤判別尤度値である。またp(O=1)は、信頼性推定器情報152から取得される、判別器の評価値(正解を出力する信頼性の事前確率)であり、p(O=−1)は、信頼性推定器情報152から取得される、判別器の評価値(不正解を出力する信頼性の事前確率)である。
図1に戻り、合成情報生成部118は、各判別部114から入力されるベクトル形式の判別情報hと、信頼性rと、判別器重み情報153から取得される判別器の重みαとを合成した情報である合成ベクトル情報(合成情報)を生成し、生成した合成ベクトル情報を物体認識処理部119に入力する。尚、判別器の重みαは、例えば、手動や過去の情報に基づき設定される。性質データの種類がN種類である場合、合成ベクトル情報は、例えば、次式で表される。
Figure 2018180879
図8に判別器重み情報153の一例を示す。同図に示すように、判別器重み情報153は、性質ID1531及び判別器重み1532の各項目を有する一つ以上のレコードを含む。性質ID1531には、前述した性質IDが設定される。判別器重み1532には、判別器の重みを示す情報が設定される。
図1に戻り、物体認識処理部119は、合成情報生成部118から入力される合成ベクトル情報に基づき物体(対象データ)が所属するクラスを推定し、推定結果を出力する。例えば、物体認識処理部119は、合成ベクトル情報における最も値が大きいベクトル要素のインデックス値を推定結果として出力する。
認識結果出力部120は、例えば、物体認識処理部119が推定した結果を示す情報(例えば、認識したクラス情報等)を出力装置55に出力する。
図9は、以上に説明した構成からなる物体認識装置100が行う処理(以下、物体認識処理S900と称する。)を説明するフローチャートである。以下、同図とともに物体認識処理S900について説明する。
まず対象データ取得部111が、入力装置54や通信装置56を介して外部から対象データを取得する(S911)。続いて、異種性質データ生成部112が、対象データに基づき複数種の性質データを生成し、生成した各性質データを、夫々に対応する特徴量抽出部113に入力する(S912)。
続いて、判別用特徴量抽出部1131が、性質データから判別用特徴量を抽出し、判別部114に入力する(S913)。また信頼性特徴量抽出部1132が、性質データから信頼性特徴量を抽出し、抽出した信頼性特徴量を判別部114に入力する(S914)。
続いて、判別情報算出部1141が、上記性質データに対応する判別器を判別器情報151から取得し(S915)、取得した判別器情報に基づく判別器と判別用特徴量抽出部1131から入力された判別用特徴量とに基づき判別情報を生成し、生成した判別情報を合成情報生成部118に入力する(S916)。
続いて、信頼性推定部1142が、上記性質データに対応する信頼性推定器を信頼性推定器情報152から取得し(S917)、取得した信頼性特徴量と、信頼性推定器情報152から取得される性質データの信頼性推定器情報とに基づき、判別情報算出部1141が生成した判別情報の信頼性を求め、求めた信頼性を合成情報生成部118に入力する(S918)。
続いて、合成情報生成部118が、判別器重み情報153から、各性質データに対応する判別器重み情報を取得し(S919)、各判別部114から入力される判別情報、信頼性、及び判別器重み情報に基づき合成ベクトル情報を生成し、生成した合成ベクトル情報を物体認識処理部119に入力する(S920)。
続いて、物体認識処理部119が、合成ベクトル情報に基づき、対象データが所属するクラスを推定し、推定結果を認識結果出力部120に入力する(S921)。
続いて、認識結果出力部120が、入力された推定結果を示す情報を出力装置55に出力する(S922)。
以上で物体認識処理S900は終了する。
以上に説明したように、物体認識装置は、性質データ毎に判別情報を求めるとともに、性質データ毎の判別情報の信頼性を求め、これらの情報に基づき生成した合成ベクトル情報に基づき対象データが所属するクラスを推定することにより物体を認識するので、認識に有利な特徴量が平均化されてしまうようなことがなく、精度よく物体を認識することができる。
[第2実施形態]
図10は第2実施形態として説明する物体認識装置100の機能ブロック図である。第2実施形態の物体認識装置100は第1実施形態の物体認識装置100と同様のハードウェアによって実現することができる。第2実施形態の物体認識装置100は、第1実施形態の物体認識装置100と同等の機能を備える。
第2実施形態の物体認識装置100は、第1実施形態の物体認識装置100が備える機能に加えてさらに学習部161を備える。また第2実施形態の情報記憶部110は、第1実施形態の物体認識装置100が記憶する情報に加えてさらに学習用情報155を記憶する。第2実施形態の物体認識装置100は、判別器情報151、信頼性推定器情報152、及び判別器重み情報153を機械学習によって自動的に生成する。学習用情報155には、上記機械学習に用いる学習用データが含まれる。以下、第1実施形態と異なる点を中心として説明する。
図11に学習部161周辺の機能ブロック図を示す。同図に示すように、学習部161は、判別器構築部1611、判別器重み情報生成部1612、信頼性推定器構築部1613、及び正誤評価部1614を備える。また学習部161は、正誤付き信頼性特徴量1620を記憶する。学習部161は、学習用の判別用特徴量及び学習用の信頼性特徴量を学習用情報155から取得し、これらを学習用データとした機械学習を行うことにより、判別器情報151、信頼性推定器情報152、及び判別器重み情報153を生成する。
図12に学習用情報155の一例を示している。同図に示すように、学習用情報155は、学習用データID1551、性質ID1552、信頼性特徴量1553、判別用特徴量1554、及びクラスID1555の各項目からなる一つ以上のレコードで構成される。学習用情報155の1つのレコードは1つの学習用データに対応している。
上記項目のうち、学習用データID1551には、学習用データ毎に付与される識別子(以下、学習用データIDと称する。)が設定される。性質ID1552には、性質IDが設定される。信頼性特徴量1553には、学習用の信頼性特徴量が設定される。判別用特徴量1554には、学習用の判別用特徴量が設定される。クラスID1555には、クラスIDが設定される。
図11に戻り、判別器構築部1611は、学習用情報155として記憶されている学習用データに基づき判別器を学習し、学習した判別器を判別器情報151として記憶する。尚、判別器構築部1611は、例えば、学習用の判別用特徴量についてパターンを発見する際の過程(プロセス)を判別器として学習する。例えば、判別器としてSVMを用いる場合、判別器構築部1611は、特徴量空間においてクラス毎の特徴量を最も分離できるような平面を決定する判別式のパラメータを探索することにより判別器を学習する。
図11に示すように、判別部114の判別情報算出部1141は、判別器情報151から判別器を取得し、取得した判別器と学習用情報155から取得した学習用データとに基づき判別情報を生成する。そして、判別情報算出部1141は、生成した判別情報に、上記判別器に入力した学習用データのクラスID1555を付帯させた情報(以下、学習用判別情報と称する。)を生成し、生成した学習用判別情報を学習部161の正誤評価部1614に入力する。
正誤評価部1614は、判別情報算出部1141から入力された学習用判別情報に基づき、当該学習用判別情報のクラスを推定する。例えば、判別情報が対象データのクラスとクラスの所属度合いを示す確率や尤度等をベクトル情報として表現したものである場合、
正誤評価部1614は、最大尤度を有するクラスを上記学習用判別情報のクラスとして推定する。
続いて、正誤評価部1614は、推定したクラスと上記学習用判別情報に付帯するクラスとを比較することにより、推定したクラスの正誤評価を行い、その評価結果を正誤付き信頼性特徴量1620として記憶する。
図13に正誤付き信頼性特徴量1620の一例を示す。同図に示すように、正誤付き信頼性特徴量1620は、性質ID1621、信頼性特徴量1622、及び正誤評価1623の各項目を有する一つ以上のレコードで構成される。
上記項目のうち、性質ID1621には、上記学習用データの性質ID1552が設定される。信頼性特徴量1622には、上記学習用データの信頼性特徴量1553が設定される。正誤評価1623には、上記正誤評価の結果(以下、正誤評価と称する。)が設定される。
図11に戻り、正誤評価部1614は、推定したクラスと学習用判別情報に付帯するクラスとが一致した場合、上記学習用データの性質ID1552と信頼性特徴量1553の組み合わせに正誤評価として「正」を付帯させたレコードを正誤付き信頼性特徴量1620に記憶する。また正誤評価部1614は、推定したクラスと学習用判別情報に付帯するクラスとが不一致である場合、上記学習用データの性質ID1552と信頼性特徴量1553の組み合わせに正誤評価として「誤」を付帯させたレコードを正誤付き信頼性特徴量1620に記憶する。
判別器重み情報生成部1612は、例えば、正誤付き信頼性特徴量1620の正誤評価1623の内容に基づき性質毎(性質ID毎)の正解率を求め、求めた正解率を判別器の重み1532として性質ID1531に対応づけた情報(レコード)を判別器重み情報153として記憶する。
信頼性推定器構築部1613は、正判別信頼性推定器構築部171、誤判別信頼性推定器構築部172、及び評価値算出部173を有する。
正判別信頼性推定器構築部171は、正誤付き信頼性特徴量1620から正誤評価1623に「正」が設定されている信頼性特徴量1622(学習用データ)に基づき正判別信頼性推定器を学習し、学習結果を信頼性推定器情報152として記憶する。
誤判別信頼性推定器構築部172は、正誤付き信頼性特徴量1620から正誤評価1623に「誤」が設定されている信頼性特徴量1622(学習用データ)に基づき誤判別信頼性推定器を学習し、学習結果を信頼性推定器情報152として記憶する。
信頼性推定器構築部1613は、例えば、特徴量空間において正/誤の信頼性特徴量をクラスタリングし、上記特徴量空間における正/誤の信頼性特徴量の尤度情報確率分布を表す確率モデルのパラメータを探索することにより、正判別信頼性推定器及び誤判別信頼性推定器を学習する。尚、正判別信頼性推定器は「正」の信頼性特徴量の確率分布を表す確率モデルとなる。また誤判別信頼性推定器は「誤」の信頼性特徴量の確率分布を表す確率モデルとなる。
評価値算出部173は、判別器の信頼性の事前確率を、例えば、正誤付き信頼性特徴量1620のレコードの正誤評価1623の「正」と「誤」の割合(判別器の判別情報の正誤率)から求める。評価値算出部173は、求めた割合を判別器の評価値として出力し、
信頼性推定器情報152の判別器評価値1524として記憶する。
図14は、判別器情報151、信頼性推定器情報152、及び判別器重み情報153を学習するにあたり第2実施形態の物体認識装置100が行う処理(以下、学習処理S1400と称する。)を説明するフローチャートである。以下、同図とともに学習処理S1400について説明する。
尚、以下に説明する学習処理S1400が実行される前提として、学習用情報155が用意されているものとする。学習用情報155の内容は、例えば、学習用の対象データに基づき異種性質データ生成部112が生成した性質データを特徴量抽出部113(判別用特徴量抽出部1131、信頼性特徴量抽出部1132)に入力することにより生成する。
同図に示すように、まず学習部161の判別器構築部1611が、学習用情報155として記憶されている学習用データに基づき判別器を学習する(S1411)。
続いて、判別部114の判別情報算出部1141が、判別器情報151から判別器を取得し、取得した判別器と学習用情報155から取得した学習用データとに基づき学習用判別情報を生成する(S1412)。
続いて、正誤評価部1614が、判別情報算出部1141から入力された学習用判別情報に基づき、当該学習用判別情報の生成に用いた学習用データのクラスを推定する(S1413)。
続いて、正誤評価部1614が、推定したクラスと学習用判別情報に付帯するクラスとを比較することにより、推定したクラスの正誤評価を行い、評価結果を正誤付き信頼性特徴量1620として記憶する(S1414)。
続いて、判別器重み情報生成部1612が、正誤付き信頼性特徴量1620の正誤評価1623の内容に基づき性質(性質ID)毎の正解率を求め、求めた正解率を判別器の重み1532として性質ID1531と対応づけた情報(レコード)を判別器重み情報153として記憶する(S1415)。
続いて、信頼性推定器構築部1613が、信頼性推定器(正判別信頼性推定器、誤判別信頼性推定器)を学習するとともにと判別器評価値を求め、学習した内容を信頼性推定器情報152として記憶する(S1416)。
以上のように、第2実施形態の物体認識装置100は、判別器情報151、信頼性推定器情報152、及び判別器重み情報153を機械学習により自動的に生成するので、効率よく判別器情報151、信頼性推定器情報152、及び判別器重み情報153を構築することができる。また性質毎に用意された学習用データに基づき機械学習により判別器情報151、信頼性推定器情報152、及び判別器重み情報153を構築するので、認識精度の高い物体認識装置100を構築することができる。また例えば、物体認識装置100が、過去に認識したことがない物体から取得される対象データに基づき、判別器情報151、信頼性推定器情報152、及び判別器重み情報153を生成することで、多様な物体について高い精度で認識を行うことができる。
[第3実施形態]
第3実施形態は、第1実施形態又は第2実施形態における物体認識装置100の対象データ取得部111及び異種性質データ生成部112の具体例に関する。
第3実施形態の物体認識装置100の対象データ取得部111は、X線撮影装置から出力される、X線の透過強度を表すベクトル形式のデータ(RAWデータ、エネルギーデータ)を対象データとして取得する。
図15は、第3実施形態の物体認識装置100の異種性質データ生成部112周辺の機能ブロック図である。同図に示すように、異種性質データ生成部112は、スケーリング処理部1121、RGB変換処理部1122、及びHSV(Hue Saturation Value)変換処理部1123を有する。
スケーリング処理部1121は、対象データ取得部111から入力される対象データに基づき性質Aデータを生成し、生成した性質Aデータを特徴量抽出部113Aに入力する。 RGB変換処理部1122は、上記対象データに基づき性質Bデータを生成し、生成した性質Bデータを特徴量抽出部113Bに入力する。HSV変換処理部1123は、上記対象データに基づき性質Cデータを生成し、生成した性質Cデータを特徴量抽出部113Cに入力する。尚、このように実施形態3では、物体認識装置100が特徴量抽出部113と判別部114の組を3つ以上有している場合を想定している。
図16に対象データ31(RAWデータ)、及び当該対象データ31に基づき生成されるスケーリング情報32の一例を示す。スケーリング処理部1121は、対象データの各成分(エネルギー強度を示す情報)を0〜255の範囲でスケーリングした情報(以下、
スケーリング情報32と称する。)を生成し、生成したスケーリング情報32を用いてグレースケール画像データを生成し、生成したグレースケール画像データを性質Aデータとして特徴量抽出部113Aに入力する。
図17は、RGB変換処理部1122が参照するRGB変換テーブル1700の一例である。RGB変換処理部1122は、対象データ31の各成分の値に応じて各成分をRGB空間の情報(以下、RGB空間情報と称する。)に変換し、RGB空間情報、即ちカラー画像データを性質Bデータとして特徴量抽出部113Bに入力する。
HSV変換処理部1123は、対象データ31の各成分の値に応じて各成分をHSV空間(色相空間H、彩度空間S、明度空間V)の情報(以下、HSV空間情報と称する。)に変換し、HSV空間情報(HSV空間の画像データ)を性質Cデータとして特徴量抽出部113Cに入力する。
図18にHSV変換処理部1123による変換の様子を示す。同図に示すように、上記変換のうち色相空間Hについては、例えば、予め用意された色相空間変換先参照テーブル1811を用いて行われる。また上記変換のうち彩度空間Sについては、例えば、対象データ31の各成分の値を0〜1の範囲でスケーリングする処理(彩度空間変換処理)を行うことにより行われる。また上記変換のうち明度空間Vについては、例えば、対象データ31の各成分の値が0の近傍(0から所定範囲内)の場合は0とし、それ以外の場合は1とする処理(明度空間変換処理)を行うことにより行われる。
このように対象データがX線の透過強度を表すベクトル形式のデータである場合には以上の方法により物体の異なる性質を反映した複数種の性質データを生成することができ、高精度でX線画像による物体認識を行う仕組みを実現することができる。
尚、本実施形態では、スケーリング処理部1121、RGB変換処理部1122、及びHSV変換処理部1123に同じ対象データを入力しているが、夫々に異なる対象データを入力するようにしてもよい。
[第4実施形態]
第4実施形態は、第1乃至第3実施形態の物体認識装置100が備える要素に基づき構成される、X線撮影画像に基づき物体を認識するシステム(以下、物体認識システム1と称する。)の事例に関する。
図19に物体認識システム1の機能ブロック図を示す。同図に示すように、物体認識システム1は、X線撮影装置60、撮影画像記憶装置61、物体認識装置100、物体認識装置設定端末200、学習装置300、学習装置設定端末400、及び画像検査装置500を含む。
撮影画像記憶装置61、物体認識装置100、物体認識装置設定端末200、学習装置300、学習装置設定端末400、及び画像検査装置500は、例えば、図2に示すハードウェアと同等の構成を有する情報処理装置を用いて実現される。これらの装置の機能は、例えば、上記情報処理装置のプロセッサが主記憶装置や補助記憶装置に格納されているプログラムを読み出して実行することにより実現される。またこれらの装置の機能は、例えば、上記情報処理装置のハードウェアによって実現される。またこれらの装置の機能の全部又は一部を、例えば、クラウドシステムにおけるクラウドサーバのような仮想的な資源によって実現してもよい。
同図に示すように、X線撮影装置60と撮影画像記憶装置61は通信可能に接続している。X線撮影装置60は、対象データとなるX線の透過強度を表すベクトル形式のデータ(RAWデータ、エネルギーデータ)を出力する。撮影画像記憶装置61は、X線撮影装置60が出力した上記データを記憶する。
物体認識装置100は、X線撮影装置60、撮影画像記憶装置61、及び学習装置300と第1通信ネットワーク51を介して通信可能に接続している。また物体認識装置100は、物体認識装置設定端末200と第2通信ネットワーク52を介して通信可能に接続している。また物体認識装置100は、画像検査装置500と第3通信ネットワーク53を介して通信可能に接続している。学習装置300は、学習装置設定端末400と第4通信ネットワーク54を介して通信可能に接続している。
第1乃至第4通信ネットワーク51〜54は、例えば、有線方式又は無線方式の通信ネットワークであり、例えば、LAN(Local Area Network)、無線LAN、USB(Universal Serial Bus)、シリアル通信、パラレル通信等の所定の通信方式を用いて実現される。
X線撮影装置60や撮影画像記憶装置61は、第1通信ネットワーク51を介して、物体認識装置100や学習装置300に対象データ(画像データや映像データ)を提供する。
物体認識装置100は、第1乃至第3実施形態のうちの少なくともいずれかの物体認識装置100と同等の構成を備える。物体認識処理部119による認識結果は第3通信ネットワーク53を介して画像検査装置500に提供される。尚、同図は省略した記載になっているため特徴量抽出部113と判別部114の組み合わせを一つしか記載していないが、第4実施形態の物体認識装置100においても特徴量抽出部113と判別部114の組み合わせを複数備える。
物体認識装置設定端末200は、判別器重み情報設定部211及び認識用閾値情報設定部212を備える。判別器重み情報設定部211は、判別器重み情報153を設定するためのユーザインタフェースを提供する。認識用閾値情報設定部212は、物体認識処理部
119が対象データが所属するクラスを推定する際等に用いる閾値等の各種設定情報を設定するためのユーザインタフェースを提供する。
学習装置300は、異種性質データ生成部112、生成画像記憶部311、判別用特徴量抽出部1131、信頼性特徴量抽出部1132、判別器構築部1611、信頼性推定器構築部1613、及び学習済情報記憶部312を備える。このうち異種性質データ生成部112、判別用特徴量抽出部1131、信頼性特徴量抽出部1132、判別器構築部1611、及び信頼性推定器構築部1613については第2実施形態と同様であるので説明を省略する。
生成画像記憶部311は、異種性質データ生成部112によって生成された性質データを記憶する。学習済情報記憶部312は、学習部161が生成した判別器情報151、信頼性推定器情報152、及び判別器重み情報153を記憶する。学習済情報記憶部312が記憶するこれらの情報は、第1通信ネットワーク51を介して物体認識装置100に随時提供され、物体認識装置100は、提供された情報を自身の判別器情報151、信頼性推定器情報152、及び判別器重み情報153として利用する。
学習装置設定端末400は、クラス設定部411を備える。クラス設定部411は、生成画像記憶部311が記憶している性質データに含まれている物体にクラスを付与するためのユーザインタフェース(学習用情報155のクラスID1555を設定するためのユーザインタフェース)を提供する。
画像検査装置500は、認識結果出力部120を備える。認識結果出力部120については第1実施形態と同様であるので説明を省略する。
図20は認識結果出力部120が認識結果として出力する画面(以下、認識結果表示画面2000と称する。)の一例である。同図に示すように、認識結果表示画面2000は、性質データ毎の画像表示領域2011、性質データ毎の信頼性の表示領域2012、クラス毎の所属度合いの表示領域2013、及び推定結果の表示領域2014を有する。
性質データ毎の画像表示領域2011には、対象データ(物体SのX線撮影画像データ(X線エネルギーデータ)に基づき異種性質データ生成部112が生成した複数の性質データの夫々に基づく画像(イメージ)が表示される。本例では、性質Aデータ、性質Bデータ、及び性質Cデータの夫々に基づく画像が表示されている。ユーザはこの表示領域2011の内容から性質データのイメージを把握することができる。
性質データ毎の信頼性の表示領域2012には、各性質データについて判定部114の信頼性推定部1142が推定した信頼性が表示される。信頼性が最も高い性質データについては、性質データ毎の画像表示領域2011において画像が強調表示(本例では太線枠付き表示)される。本例では、信頼性が最も高い性質Bデータ(信頼性=0.8442)の画像が強調表示されている。ユーザはこの表示領域2012の内容から各性質データに基づく判定情報の信頼性を把握することができる。
クラス毎の所属度合いの表示領域2013には、物体認識処理部119が、合成ベクトル情報に基づき対象データが所属するクラスの推定に際して求めた各クラスへの所属度合いが表示される。ユーザはこの表示領域2013の内容から対象データの各クラスへの所属度合いの様子を把握することができる。
推定結果の表示領域2014には、物体認識処理部119による推定結果が表示される。本例では、所属度合いが最も高いクラスIDである「2」(所属度合い=0.8)を推
定結果として表示している。ユーザはこの表示領域2014の内容から認識結果を把握することができる。
以上のように構成することで、X線撮影装置60と物体認識装置100とを連携させることができ、X線撮影装置60により取得されるデータについて効率よく物体認識に関する処理を行うことができる。また学習装置300が、X線撮影装置60から取得され蓄積されていくデータを学習用データとして継続的に学習し、学習したデータが物体認識装置100に提供されることで高精度で物体認識を行うシステムを実現することができる。
以上、第1乃至第4実施形態につき詳細に説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また上記実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
例えば、以上の実施形態では一種類の対象データに基づき複数種の性質データを生成したが、複数の対象データに基づき複数種の性質データを生成するようにしてもよい。複数の対象データに基づき複数種の性質データを生成する場合としては、例えば、対象データが認識対象である物体を異なる方向から撮影した複数の画像データを含む場合や、対象データが認識対象である物体の異なる部分を撮影した複数の画像データを含む場合等が想定される。
また上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD(Solid State Drive)等の記録装置、また
はICカード、SDカード、DVD等の記録媒体に置くことができる。
また上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。例えば、実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
また以上に説明した各種装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、各種装置が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。
また前述したデータベースの構成(スキーマ(Schema)等)は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。
1 物体認識システム、100 物体認識装置、111 対象データ取得部、112 異種性質データ生成部、113 特徴量抽出部、1131 判別用特徴量抽出部、1132
信頼性特徴量抽出部、114 判別部、1141 判別情報算出部、1142 信頼性推定部、118 合成情報生成部、119 物体認識処理部、120 認識結果出力部、151 判別器情報、152 信頼性推定器情報、153 判別器重み情報、155 学習用情報、161 学習部、1611 判別器構築部、1612 判別器重み情報生成部、1613 信頼性推定器構築部、1614 正誤評価部、1620 正誤付き信頼性特
徴量、171 正判別信頼性推定器構築部、172 誤判別信頼性推定器構築部、173
評価値算出部、611 正判別尤度値算出部、612 誤判別尤度値算出部、620 信頼性算出部、S900 物体認識処理、S1400 学習処理、2000 認識結果表示画面

Claims (15)

  1. 物体について取得されたデータである対象データに基づき、特定の性質を強調したデータである性質データを複数の異なる性質について生成する異種性質データ生成部と、
    前記性質データの夫々の判別に用いる特徴量である判別用特徴量を前記性質データ毎に抽出する判別用特徴量抽出部と、
    前記性質データの夫々について求めた前記判別用特徴量に基づき、前記の性質データの判別に用いる情報である判別情報を前記性質データ毎に求める判別情報算出部と、
    前記性質データの夫々について求めた前記判別情報の信頼性の推定に用いる特徴量である信頼性特徴量を前記性質データ毎に抽出する信頼性特徴量抽出部と、
    前記性質データの夫々について求めた前記信頼性特徴量に基づき、前記判別情報の信頼性を前記性質データ毎に推定する信頼性推定部と、
    前記性質データ毎に求めた前記判別情報と、前記性質データ毎に求めた前記信頼性とを合成した情報である合成情報を生成する合成情報生成部と、
    前記合成情報に基づき前記物体の認識に関する処理を行い認識結果を生成する物体認識処理部と、
    を備える、物体認識装置。
  2. 請求項1に記載の物体認識装置であって、
    前記性質データ毎に用意された判別器を構築するための情報である判別器情報を記憶する情報記憶部を備え、
    前記判別情報算出部は、前記性質データの前記判別情報を、当該性質データの前記判別用特徴量と、当該性質データについて用意された前記判別器とに基づき求める、
    物体認識装置。
  3. 請求項2に記載の物体認識装置であって、
    前記性質データ毎に用意される信頼性推定器である、正判別信頼性推定器及び誤判別信頼性推定器を構築するための情報である信頼性推定器情報を記憶する情報記憶部を備え、
    前記信頼性推定部は、
    前記性質データの前記信頼性特徴量と当該性質データの前記正判別信頼性推定器とに基づき正判別尤度値を求める正判別尤度値算出部と、
    前記性質データの前記信頼性特徴量と当該性質データの前記誤判別信頼性推定器とに基づき誤判別尤度値を求める誤判別尤度値算出部と、
    前記正判別尤度値及び前記誤判別尤度値に基づき前記信頼性を求める信頼性算出部と、
    を備える、物体認識装置。
  4. 請求項3に記載の物体認識装置であって、
    前記情報記憶部は、前記判別器の評価値を記憶し、
    前記信頼性算出部は、前記正判別尤度値、前記誤判別尤度値、及び前記評価値に基づき前記信頼性を求める、
    物体認識装置。
  5. 請求項4に記載の物体認識装置であって、
    前記情報記憶部は、前記判別器の夫々の重みに関する情報である判別器重み情報を記憶し、
    前記合成情報生成部は、前記判別情報、前記信頼性、及び前記判別器の重みに基づき生成される合成ベクトル情報を前記合成情報として生成する、
    物体認識装置。
  6. 請求項5に記載の物体認識装置であって、
    前記物体認識処理部は、前記合成ベクトル情報に基づき推定されるクラスを前記認識結果として生成する、物体認識装置。
  7. 請求項6に記載の物体認識装置であって、
    学習用の前記判別用特徴量と前記クラスの対応を学習用情報として記憶する情報記憶部と、
    前記学習用の判別用特徴量に基づき前記判別器情報を生成する判別器構築部と、
    を備える、物体認識装置。
  8. 請求項6に記載の物体認識装置であって、
    前記情報記憶部は、学習用の前記判別用特徴量、学習用の前記信頼性特徴量、及び前記クラスの対応を学習用情報として記憶し、
    前記判別情報算出部は、前記学習用の判別用特徴量に基づき学習用の前記判別情報を生成し、
    前記学習用の判別情報に基づきクラスを推定し、推定した当該クラスと前記学習用の判別用特徴量に対応づけられているクラスとを比較することにより、前記性質データ毎の正誤評価の結果を含む情報である正誤付き信頼性特徴量を生成する正誤評価部と、
    前記正誤付き信頼性特徴量から把握される正誤の割合に基づき前記判別器重み情報を生成する判別器重み情報生成部と、
    を備える、物体認識装置。
  9. 請求項8に記載の物体認識装置であって、
    前記正誤付き信頼性特徴量に基づき前記正判別信頼性推定器を構築する正判別信頼性推定器構築部、前記正誤付き信頼性特徴量に基づき前記誤判別信頼性推定器を構築する誤判別信頼性推定器構築部、及び前記正誤付き信頼性特徴量に基づき前記評価値を求める評価値算出部を含み、前記正判別信頼性推定器、前記誤判別信頼性推定器、及び前記評価値に基づき、前記信頼性推定器情報を生成する、信頼性推定器構築部、
    を備える、物体認識装置。
  10. 請求項7乃至9のいずれか一項に記載の物体認識装置であって、
    前記学習用情報を設定するユーザインタフェースを提供するクラス設定部を備える、
    物体認識装置。
  11. 請求項1乃至8のいずれか一項に記載の物体認識装置であって、
    前記対象データは、前記物体を撮影装置により撮影することにより取得されるRGB(Red Green Blue)形式の画像データであり、
    前記異種性質データ生成部は、前記画像データからR成分を取り出したデータ、前記画像データからG成分を取り出したデータ、及び、前記画像データからB成分を取り出したデータ、のうちの少なくとも2つ以上を前記複数の性質データとして生成する、
    物体認識装置。
  12. 請求項1乃至8のいずれか一項に記載の物体認識装置であって、
    前記対象データは、X線撮影装置により前記物体を撮影することにより取得されるX線画像データであり、
    前記異種性質データ生成部は、
    前記X線画像データにおけるX線強度値をスケーリングした値を画素値とするグレースケール画像を第1の前記性質データとして生成し、
    前記X線画像データにおけるX線強度値の範囲に応じて前記X線画像データをRGB(Red Green Blue)形式の画像データとしたものを第2の前記性質データとして生成し、
    前記X線画像データにおけるX線強度値の範囲に応じて前記X線画像データをHSV(
    Hue Saturation Value)形式の画像データとしたものを第3の前記性質データとして生成する、
    物体認識装置。
  13. 請求項6に記載の物体認識装置を備えて構成される物体認識システムであって、
    前記物体認識装置と通信可能に接続する学習装置を備え、
    前記学習装置は、
    学習用の前記判別用特徴量、学習用の前記信頼性特徴量、及び前記クラスの対応を学習用情報として記憶する情報記憶部と、
    前記学習用の判別用特徴量に基づき前記判別器情報を生成する判別器構築部と、
    前記判別情報算出部が前記学習用の判別用特徴量に基づき生成する前記学習用の判別情報に基づきクラスを推定し、推定した当該クラスと前記学習用の判別用特徴量に対応づけられているクラスとを比較することにより、前記性質データ毎の正誤評価の結果を含む情報である正誤付き信頼性特徴量を生成する正誤評価部と、
    前記正誤付き信頼性特徴量から把握される正誤の割合に基づき前記判別器重み情報を生成する判別器重み情報生成部と、
    前記正誤付き信頼性特徴量に基づき正判別信頼性推定器を構築する正判別信頼性推定器構築部、前記正誤付き信頼性特徴量に基づき誤判別信頼性推定器を構築する誤判別信頼性推定器構築部、及び、前記正誤付き信頼性特徴量に基づき前記評価値を求める評価値算出部を含み、前記正判別信頼性推定器、前記誤判別信頼性推定器、及び前記評価値に基づき、前記信頼性推定器情報を生成する、信頼性推定器構築部と、
    を備える、物体認識システム。
  14. 物体認識方法であって、
    情報処理装置が、
    物体について取得されたデータである対象データに基づき、特定の性質を強調したデータである性質データを複数の異なる性質について生成するステップ、
    前記性質データの夫々の判別に用いる特徴量である判別用特徴量を前記性質データ毎に抽出するステップ、
    前記性質データの夫々について求めた前記判別用特徴量に基づき、前記の性質データの判別に用いる情報である判別情報を前記性質データ毎に求めるステップ、
    前記性質データの夫々について求めた前記判別情報の信頼性の推定に用いる特徴量である信頼性特徴量を前記性質データ毎に抽出するステップ、
    前記性質データの夫々について求めた前記信頼性特徴量に基づき、前記判別情報の信頼性を前記性質データ毎に推定するステップ、
    前記性質データ毎に求めた前記判別情報と、前記性質データ毎に求めた前記信頼性とを合成した情報である合成情報を生成するステップ、及び、
    前記合成情報に基づき前記物体の認識に関する処理を行い認識結果を生成するステップ、
    を実行する、物体認識方法。
  15. 請求項14に記載の物体認識方法であって、
    前記情報処理装置が、学習用の前記判別用特徴量、学習用の前記信頼性特徴量、及び前記クラスの対応を学習用情報として記憶するステップ、
    前記学習用の判別用特徴量に基づき前記判別器情報を生成するステップ、
    前記学習用の判別用特徴量に基づき学習用の前記判別情報を生成するステップ、
    前記学習用の判別情報に基づきクラスを推定し、推定した当該クラスと前記学習用の判別用特徴量に対応づけられているクラスとを比較することにより取得される、前記性質データ毎の正誤評価の結果を含む情報である正誤付き信頼性特徴量を生成する正誤評価部と、
    前記正誤付き信頼性特徴量から把握される正誤の割合に基づき前記判別器重み情報を生成するステップ、
    をさらに実行する、物体認識方法。

JP2017078937A 2017-04-12 2017-04-12 物体認識装置、物体認識システム、及び物体認識方法 Active JP6785181B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017078937A JP6785181B2 (ja) 2017-04-12 2017-04-12 物体認識装置、物体認識システム、及び物体認識方法
US16/604,226 US10963736B2 (en) 2017-04-12 2017-12-21 Object recognition apparatus, object recognition system, and object recognition method
DE112017007437.1T DE112017007437T5 (de) 2017-04-12 2017-12-21 Objekterkennungsvorrichtung, objekterkennungssystem undobjekterkennungsverfahren
CN201780089469.9A CN110537188B (zh) 2017-04-12 2017-12-21 物体识别装置、物体识别系统以及物体识别方法
PCT/JP2017/045975 WO2018189962A1 (ja) 2017-04-12 2017-12-21 物体認識装置、物体認識システム、及び物体認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017078937A JP6785181B2 (ja) 2017-04-12 2017-04-12 物体認識装置、物体認識システム、及び物体認識方法

Publications (3)

Publication Number Publication Date
JP2018180879A true JP2018180879A (ja) 2018-11-15
JP2018180879A5 JP2018180879A5 (ja) 2020-02-20
JP6785181B2 JP6785181B2 (ja) 2020-11-18

Family

ID=63792392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017078937A Active JP6785181B2 (ja) 2017-04-12 2017-04-12 物体認識装置、物体認識システム、及び物体認識方法

Country Status (5)

Country Link
US (1) US10963736B2 (ja)
JP (1) JP6785181B2 (ja)
CN (1) CN110537188B (ja)
DE (1) DE112017007437T5 (ja)
WO (1) WO2018189962A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022541897A (ja) * 2019-07-16 2022-09-28 ドックボット, インコーポレイテッド 機械学習システムのリアルタイム展開

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529037A (zh) * 2020-11-06 2021-03-19 重庆恢恢信息技术有限公司 基于大数据分析建筑工地建设优化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004337291A (ja) * 2003-05-14 2004-12-02 Konica Minolta Medical & Graphic Inc 画像出力情報設定方法および画像出力情報設定装置ならびに画像出力情報設定プログラム
WO2012147256A1 (ja) * 2011-04-25 2012-11-01 パナソニック株式会社 画像処理装置
JP2015225410A (ja) * 2014-05-26 2015-12-14 株式会社東芝 認識装置、方法及びプログラム
JP2016018538A (ja) * 2014-07-11 2016-02-01 キヤノン株式会社 画像認識装置、方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7242988B1 (en) * 1991-12-23 2007-07-10 Linda Irene Hoffberg Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
JP2001014465A (ja) 1999-06-29 2001-01-19 Matsushita Electric Ind Co Ltd 物体認識方法及び物体認識装置
US7062093B2 (en) * 2000-09-27 2006-06-13 Mvtech Software Gmbh System and method for object recognition
US6775411B2 (en) * 2002-10-18 2004-08-10 Alan D. Sloan Apparatus and method for image recognition
US7129484B2 (en) * 2004-01-21 2006-10-31 Hitachi Global Storage Technologies Netherlands B.V. Method for pattern recognition in energized charge particle beam wafer/slider inspection/measurement systems in presence of electrical charge
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
CN101590825B (zh) * 2009-07-06 2011-08-31 浙江双友物流器械股份有限公司 测力棘轮式捆绑器
US8116547B2 (en) * 2009-12-11 2012-02-14 Aperio Technologies, Inc. Signal to noise ratio in digital pathology image analysis
TWI556194B (zh) * 2012-06-29 2016-11-01 希科母股份有限公司 對象檢出裝置、對象檢出方法及對象檢出用電腦程式
JP6254836B2 (ja) 2013-11-29 2017-12-27 キヤノン株式会社 画像検索装置、画像検索装置の制御方法およびプログラム
JP6361387B2 (ja) * 2014-09-05 2018-07-25 オムロン株式会社 識別装置および識別装置の制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004337291A (ja) * 2003-05-14 2004-12-02 Konica Minolta Medical & Graphic Inc 画像出力情報設定方法および画像出力情報設定装置ならびに画像出力情報設定プログラム
WO2012147256A1 (ja) * 2011-04-25 2012-11-01 パナソニック株式会社 画像処理装置
JP2015225410A (ja) * 2014-05-26 2015-12-14 株式会社東芝 認識装置、方法及びプログラム
JP2016018538A (ja) * 2014-07-11 2016-02-01 キヤノン株式会社 画像認識装置、方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022541897A (ja) * 2019-07-16 2022-09-28 ドックボット, インコーポレイテッド 機械学習システムのリアルタイム展開
JP7420916B2 (ja) 2019-07-16 2024-01-23 サティスファイ ヘルス インコーポレイテッド 機械学習システムのリアルタイム展開

Also Published As

Publication number Publication date
US20200117948A1 (en) 2020-04-16
JP6785181B2 (ja) 2020-11-18
CN110537188B (zh) 2023-02-28
WO2018189962A1 (ja) 2018-10-18
DE112017007437T5 (de) 2020-01-09
CN110537188A (zh) 2019-12-03
US10963736B2 (en) 2021-03-30

Similar Documents

Publication Publication Date Title
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
US20180330504A1 (en) Systems and methods for determining a camera pose of an image
JP6332937B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10216979B2 (en) Image processing apparatus, image processing method, and storage medium to detect parts of an object
CN114258559A (zh) 用于标识具有不受控制的光照条件的图像中的肤色的技术
US8538164B2 (en) Image patch descriptors
JP6624794B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014531097A (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
CN111242097A (zh) 一种人脸识别方法、装置、计算机可读介质及电子设备
US8989505B2 (en) Distance metric for image comparison
CN108198172B (zh) 图像显著性检测方法和装置
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
WO2021189856A1 (zh) 证件校验方法、装置、电子设备及介质
WO2015146113A1 (ja) 識別辞書学習システム、識別辞書学習方法および記録媒体
JP5214679B2 (ja) 学習装置、方法及びプログラム
WO2018189962A1 (ja) 物体認識装置、物体認識システム、及び物体認識方法
CN111310531A (zh) 图像分类方法、装置、计算机设备及存储介质
US11379999B2 (en) Feature extraction method, comparison system, and storage medium
US20220414393A1 (en) Methods and Systems for Generating Composite Image Descriptors
JP2015041293A (ja) 画像認識装置および画像認識方法
CN112819953B (zh) 三维重建方法、网络模型训练方法、装置及电子设备
JP2018180879A5 (ja)
JP6244887B2 (ja) 情報処理装置、画像探索方法、及びプログラム
CN112991419A (zh) 视差数据生成方法、装置、计算机设备及存储介质
KR20210031444A (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201026

R150 Certificate of patent or registration of utility model

Ref document number: 6785181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150