JP2019016268A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】より高精度な画像認識を可能とする画像処理装置を提供すること。
【解決手段】対象物体が撮像された画像を取得する画像取得部１０と、前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果に基づいて、前記対象物体に係るカテゴリーを識別する第１の認識部２０と、前記第１の認識部が分類する候補カテゴリーと関連付けて記憶された識別結果の信頼度データを参照して、前記第１の認識部の識別結果の信頼度Ｙｃを取得する信頼度取得部４０と、前記第１の認識部の識別結果に応じた処理を実行するように構成されており、前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果と前記第１の認識部の識別結果の信頼度Ｙｃとに基づいて、前記対象物体に係るカテゴリーを識別する第２の認識部３０と、を備える画像処理装置。
【選択図】図１

Description

本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

従来、画像処理装置において、まず認識対象の物体が存在する領域を検出し、領域を絞った後、さらに詳細に画像解析を行い、段階的に認識対象の物体のカテゴリー等を識別する手法が知られている。

例えば、特許文献１には、粗い認識処理のフェーズでは、認識対象を絞るため、解像度の荒い画像より大域的な特徴量を抽出し認識を行い、また粗い認識処理によって絞られた候補に対してさらに解像度を細かくして詳細な認識処理を行うことが記載されている。

特開２００７−２２６６４３号公報

Alexander Toshev, et al. "Deep Pose: Human Pose Estimation via Deep Neural Networks", in CVPR, 2014, ("URL: http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Toshev_DeepPose_Human_Pose_2014_CVPR_paper.pdf")

Donald O.et al. "Hidden Markov Model for Gesture Recognition", Carnegie Mellon University, Technique Report, 1994, ("URL:https://pdfs.semanticscholar.org/c66a/6ae713efb2730e28d090710ffeeb77e883f7.pdf")

ところで、近年、画像認識システムにおいて、一層の精度向上の要請がある、この点、特許文献１等の従来技術においては、段階的に認識処理を実行することが可能であるため、ある程度の精度向上が期待できる。

しかしながら、かかる従来技術に係る画像認識システムにおいては、各認識フェーズにおいて、あくまで独立して認識処理を行っており、画像認識システム全体の最適化や精度向上の点で、改善の余地がある。又、かかる従来技術に係る画像認識システムにおいては、認識結果が識別器に対して行われた学習のみに依存し、ユーザが調整する余地がないという課題がある。

本開示は、上記の問題点に鑑みてなされたもので、より高精度な画像認識を可能とする画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

前述した課題を解決する主たる本開示は、
対象物体が撮像された画像を取得する画像取得部と、
前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果に基づいて、前記対象物体に係るカテゴリーを識別する第１の認識部と、
前記第１の認識部が分類する候補カテゴリーと関連付けて記憶された識別結果の信頼度を示すデータを参照して、前記第１の認識部の識別結果の信頼度を取得する信頼度取得部と、
前記第１の認識部の識別結果に応じた識別処理を実行するように構成されており、前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果と前記第１の認識部の識別結果の信頼度とに基づいて、前記対象物体に係るカテゴリーを識別する第２の認識部と、
を備える画像処理装置である。

又、他の局面では、
対象物体が撮像された画像を取得し、
前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果に基づいて、前記対象物体に係るカテゴリーを識別し、
前記識別処理で分類する候補カテゴリーと関連付けて記憶された識別結果の信頼度を示すデータを参照して、前記識別処理の識別結果の信頼度を取得し、
前記識別処理の識別結果に応じた処理を実行するように、前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果と前記識別処理の識別結果の信頼度とに基づいて、前記対象物体に係るカテゴリーを識別する、
画像処理方法である。

又、他の局面では、
コンピュータに、
対象物体が撮像された画像を取得する処理と、
前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果に基づいて、前記対象物体に係るカテゴリーを識別する処理と、
前記識別処理で分類する候補カテゴリーと関連付けて記憶された識別結果の信頼度を示すデータを参照して、前記識別処理の識別結果の信頼度を取得する処理と、
前記識別処理の識別結果に応じた処理を実行するように、前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果と前記識別処理の識別結果の信頼度とに基づいて、前記対象物体に係るカテゴリーを識別する処理と、
を実行させる画像処理プログラムである。

本開示に係る画像処理装置によれば、より高精度な画像認識が可能である。

一実施形態に係る画像処理装置の機能構成の一例を示す図 一実施形態に係る画像処理装置のハードウェア構成の一例を示す図 実施例に係る行動認識システムの構成の一例を示す図 実施例に係る画像処理装置が撮像装置から取得した時系列の画像の一例を示す図 実施例に係る画像処理装置の各構成が実行する具体的処理を説明する図 変形例１に係る画像処理装置の構成の一例を示す図 変形例２に係る画像処理装置の各構成が実行する具体的処理を説明する図

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［画像処理装置の構成の概要］
図１は、一実施形態に係る画像処理装置１００の機能構成の一例を示す図である。尚、図１中の矢印は、各機能の処理のフロー、及びデータの流れを表す。

本実施形態に係る画像処理装置１００は、画像に対して所定の演算処理を施して、画像に映る所定の物体に係るカテゴリー（以下、「対象物体に係るカテゴリー」と称する）を識別し、その識別結果を出力する装置である。

「対象物体に係るカテゴリー」としては、対象物体の属する物体種別のカテゴリー、対象物体の姿勢のカテゴリー、又は、対象物体が行っている動作のカテゴリー等、任意のカテゴリーに適用され得る。

本実施形態に係る画像処理装置１００は、画像取得部１０、粗認識部２０、詳細認識部３０、及び信頼度取得部４０を備えている。

画像取得部１０は、撮像装置が生成した画像データを取得する。

粗認識部２０（本発明の「第１の認識部」に相当）は、画像取得部１０から画像データを取得し、比較的粗い特徴抽出処理又は識別処理によって、概括的に、対象物体に係るカテゴリーや画像中の存在領域等を認識する。

粗認識部２０は、画像中の対象物体に係る特徴を抽出し、当該特徴抽出の結果Ｘｃ（以下、「第１の特徴抽出結果Ｘｃ」とも称する）に基づいて、対象物体に係るカテゴリーＺｃ（以下、「第１の識別結果Ｚｃ」とも称する）を識別する。

信頼度取得部４０は、粗認識部２０が分類する候補カテゴリーの少なくとも一について設定された信頼度データ４０Ｍを参照して、第１の識別結果Ｚｃの信頼度Ｙｃを取得する。尚、第１の識別結果Ｚｃの信頼度Ｙｃとは、第１の識別結果Ｚｃが示すカテゴリーが真である確率を示す指標である。

詳細認識部３０（本発明の「第２の認識部」に相当）は、粗認識部２０から画像データと第１の識別結果Ｚｃのデータ等を取得する。そして、詳細認識部３０は、第１の識別結果Ｚｃに応じて、対象物体に係るカテゴリーを分類する候補カテゴリーを絞り込むように、識別処理の処理態様を決定し、当該処理態様にて対象物体に係るカテゴリーを識別する。

そして、詳細認識部３０は、画像データに対して比較的詳細で精度の高い特徴抽出処理を施し、画像中の対象物体に係る特徴Ｘ（以下、「第２の特徴抽出結果Ｘ」とも称する）を抽出する。そして、詳細認識部３０は、比較的詳細で精度の高い識別処理によって、第２の特徴抽出結果Ｘと第１の識別結果Ｚｃの信頼度Ｙｃとに基づいて、対象物体に係るカテゴリー（以下、「第２の識別結果Ｚｏｕｔ」とも称する）を識別し、当該識別結果Ｚｏｕｔを最終的な演算結果として出力する。

本実施形態に係る画像処理装置１００は、このように、認識処理を二段階に分けて行うことによって、処理負荷の軽減を図りつつ、高精度な認識を実現する。

又、本実施形態に係る画像処理装置１００は、詳細認識部３０の識別処理を行う際に、第１の識別結果Ｚｃの信頼度Ｙｃを参照することによって、第２の識別結果Ｚの識別精度の更なる高精度化を図る。

この点について詳述すると、識別器は、通常、ある程度の誤り確率を有しており、識別対象によっては、概括的な画像処理の方が、高い識別精度を有する場合がある。換言すると、識別対象によっては、粗認識部２０の識別精度の方が、詳細認識部３０の識別精度よりも高くなる場合がある。

本実施形態に係る画像処理装置１００は、かかる観点から、粗認識部２０が分類する各候補カテゴリーについて予め信頼度Ｙｃを求めておき、第１の識別結果Ｚｃが高い信頼度Ｙｃを有する場合には、詳細認識部３０の識別処理の際に、第１の識別結果Ｚｃに対応する候補カテゴリーの評価値が大きくなるように補正し、当該候補カテゴリーが選択されやすくする。

図２は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す図である。

画像処理装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、及び通信インターフェイス１０５等を備えたコンピュータである。

画像処理装置１００の上記した各機能は、例えば、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４等に記憶された制御プログラム（例えば、画像処理プログラム）や各種データ（例えば、識別器のモデルデータ）を参照することによって実現される。

但し、各機能の一部又は全部は、ＣＰＵによる処理に代えて、又は、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に代えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。

以下、本実施形態に係る画像処理装置１００の各構成について、詳述する。

［画像取得部］
画像取得部１０は、認識対象の対象物体が撮像された画像データを取得する。

画像取得部１０は、例えば、「対象物体」として、ヒト、動物又は家具等が映る画像の画像データを取得する。

画像取得部１０が取得する画像データは、一般的なカメラ、広角カメラ、ステレオカメラ、又は赤外線カメラ等、任意の撮像装置が生成した画像データである。又、画像取得部１０は、静止画の画像データを取得してもよいし、撮像装置が連続的に生成した動画像の画像データを取得してもよい。

尚、画像取得部１０は、撮像装置から画像データを取得してもよいし、外部記憶装置１０４に格納された画像データや、インターネット回線等を介して提供された画像データを取得する構成であってもよい。

［粗認識部］
粗認識部２０は、第１の特徴抽出部２１及び第１の識別部２２を含んで構成される。

第１の特徴抽出部２１は、画像取得部１０から画像データを取得し、当該画像に対して比較的粗い特徴抽出処理を行い、画像中の対象物体に係る特徴を抽出する。尚、第１の特徴抽出結果Ｘｃは、例えば、多次元の特徴ベクトルで表される。

第１の特徴抽出部２１が対象物体に係る特徴を抽出する手法としては、例えば、シルエット抽出処理、学習済みのＣＮＮによる処理、ＨＯＧ（Histograms of Oriented Gradients）特徴量抽出処理等を用いる。但し、第１の特徴抽出部２１は、複数種類の特徴抽出処理が組み合わされて構成されてもよいし、領域分割処理や色分割処理等の前処理部と組み合わされて構成されてもよい。

第１の識別部２２は、第１の特徴抽出部２１から第１の特徴抽出結果Ｘｃのデータを取得し、例えば、対象物体に係るカテゴリーを分類する候補カテゴリー毎に評価値（例えば、事後確率）を算出し、当該評価値が最大の候補カテゴリーを対象物体に係るカテゴリーＺｃと識別する。

第１の識別部２２が対象物体に係るカテゴリーを分類する候補カテゴリーは、第２の識別部３２が対象物体に係るカテゴリーを分類する候補カテゴリーの一部又は同一のカテゴリーである。但し、より好適には、第２の識別部３２の候補カテゴリーは、第１の識別部２２の候補カテゴリーよりも候補数を多くし、第１の識別結果Ｚｃに基づいて認識処理の前に選択的に絞り込まれるようにする。

尚、粗認識部２０は、詳細認識部３０に対して、対象物体に係るカテゴリーＺｃのデータの他、当該対象物体が検出された領域等、詳細認識部３０における特徴抽出処理や識別処理の態様を設定するためのデータも送出するのが望ましい。

第１の識別部２２が識別処理を行う手法としては、例えば、テンプレートマッチング等を利用したルールベースの識別器、学習済みのベイズ識別器、学習済みのＳＶＭ(Support Vector Machines)識別器、学習済みのニューラルネットワーク（Convolutional Neural Network）、又は、学習済みの隠れマルコフモデル（Hidden Markov Model）等を用いる。但し、第１の識別部２２は、複数種類の識別器が組み合わされて構成されてもよいし、領域分割処理や色分割処理等の前処理部と組み合わされて構成されてもよい。

［信頼度取得部］
信頼度取得部４０は、第１の識別部２２から第１の識別結果Ｚｃのデータを取得する。そして、信頼度取得部４０は、第１の識別部２２が分類する各候補カテゴリーと関連付けて記憶された識別結果の信頼度データ４０Ｍを参照して、対応する第１の識別結果Ｚｃの信頼度Ｙｃを取得し、詳細認識部３０の第２の識別部３２に送出する。

「第１の識別結果の信頼度」とは、第１の識別結果が示すカテゴリーが真である確率を示す指標である。

第１の識別結果の信頼度は、例えば、第１の識別部２２が分類する候補カテゴリーそれぞれについて、以下の式（１）のように、実験等によって予め求められる。そして、信頼度は、候補カテゴリーと関連付けて、ＲＯＭ等の記憶部に信頼度データ４０Ｍとして記憶される。

但し、上記の演算式（１）は、信頼度Ｙｃを設定する際の一例であって、種々に変更可能である。又、信頼度データ４０Ｍは、より好適には、ユーザによって任意に設定変更可能に構成される。

尚、信頼度データ４０Ｍには、第１の識別部２２が分類する候補カテゴリーすべてについて求めておくことが望ましいが、カテゴリー数が２カテゴリーの場合等は、他方側は、一方側のカテゴリーの信頼度から求めてもよい。

［詳細認識部］
詳細認識部３０は、第２の特徴抽出部３１及び第２の識別部３２を含んで構成される。

詳細認識部３０は、まず、粗認識部２０の識別結果Ｚｃに基づいて対象物体に係るカテゴリーを識別する際の候補カテゴリーを選択し、当該候補カテゴリーの適否の判断に適合した識別処理を決定する。例えば、第２の識別部３２は、第１の識別結果Ｚｃに応じて、候補カテゴリーの数を予め絞り込んで、識別処理を行ってもよい。又、第２の特徴抽出部３１は、第１の識別結果Ｚｃに応じて、特定の候補カテゴリーを識別するために適合した特徴抽出手法や特徴抽出領域を決定してもよい。

第２の特徴抽出部３１は、第１の識別部２２から、第１の識別結果Ｚｃのデータ及び画像データを取得する。そして、第２の特徴抽出部３１は、画像に対して比較的詳細な特徴抽出処理を行い、画像中の対象物体に係る特徴Ｘ（以下、「第２の特徴抽出結果Ｘ」とも称する）を抽出する。

第２の識別部３２は、第２の特徴抽出部３１から第２の特徴抽出結果Ｘのデータを取得すると共に、信頼度取得部４０から第１の識別結果Ｚｃの信頼度Ｙｃのデータを取得し、これらに基づいて、対象物体に係るカテゴリーＺｏｕｔを識別する。

尚、第２の特徴抽出部３１が行う特徴抽出の手法としては、第１の特徴抽出部２１と同様に、種々の手法を用いることができる。又、第２の識別部３２が行う識別処理の手法としては、第１の識別部２２と同様に、種々の手法を用いることができる。但し、より好適には、第２の特徴抽出部３１は、第１の特徴抽出部２１よりも狭い画像領域の特徴抽出を行ったり、第１の特徴抽出部２１よりも多くの特徴要素の特徴抽出を行う構成とする。又、より好適には、第２の識別部３２は、第１の識別部２２よりも、小さな特徴の差異を識別し得る構成としたり、より多くの特徴要素に対して識別処理を実行し得る構成とする。

ここで、第２の識別部３２の識別処理の一例について説明する。

第２の識別部３２が行う識別処理は、具体的には、第２の特徴抽出結果Ｘに基づいて、対象物体に係るカテゴリーを分類する候補カテゴリー毎に評価値（例えば、事後確率）を算出する。そして、第２の識別部３２は、第１の識別結果Ｚｃと同種（同一のカテゴリー、及び第１の識別結果Ｚｃのカテゴリーの下位概念のカテゴリーを表す。以下同じ）の候補カテゴリーについては、第１の識別結果Ｚｃの信頼度Ｙｃを反映（例えば、信頼度が示す確率を積算）させるように評価値を補正し、異種の候補カテゴリーについては、第１の識別結果Ｚｃの１−信頼度Ｙｃを反映（例えば、１−信頼度Ｙｃが示す確率を積算）させるように評価値を補正する。そして、第２の識別部３２は、当該評価値が最大の候補カテゴリーを対象物体に係るカテゴリーＺｏｕｔと決定する。

より好適には、本実施形態に係る第２の識別部３２は、次式（２）に示すように、ベイズの識別規則に基づいて、対象物体に係るカテゴリーＺｏｕｔを決定する。

ベイズの識別規則は、画像特徴から、各候補カテゴリーの評価値を事後確率として表し、当該事後確率が最大の候補カテゴリーを識別結果として決定する識別モデルである。尚、かかる識別処理を行う識別器は、予め、画像特徴と候補カテゴリーとを関連付ける学習処理が施されることによって、任意の画像特徴から当該候補カテゴリーの事後確率を算出し得るように、識別機能が付与される。かかる識別器としては、例えば、ベイズ識別器や隠れマルコフモデルによる識別器が有用である。

尚、式（２−ａ）は、第２の識別部３２の対象物体に係るカテゴリーＺｏｕｔを決定する際の演算式であり、対象物体の候補カテゴリー毎に評価値（=log p(Z|Zｃ,X)）を算出し、当該評価値が最大の候補カテゴリーを識別結果として決定することを表す。但し、第２の識別部３２は、一般的な識別器と異なり、第２の特徴抽出結果Ｘに加えて第１の識別部２２の識別結果Ｚｃを用いて、候補カテゴリー毎の評価値（=log p(Z|Zｃ,X)）を算出する。式（２−ａ）は、ベイズの定理により、式（２−ｂ）、式（２−ｃ）のように式変換することができる。

第２の識別部３２が比較する候補カテゴリー毎の評価値は、式（２−ｃ）に示すように、第２の特徴抽出結果Ｘから求まる事後確率の対数変換値（= log p(Z|X)）に、修正係数の対数変換値(= logγ)を足し合わせたものと表すことができる。

式（２−ｃ）の修正係数(=γ)は、次式（３）に示すように、信頼度Ｙｃにより求まる。

尚、式（３−ａ）は、第１の識別結果Ｚｃが決定される際に無関係な第２の特徴抽出結果Ｘを除外した式変換である。又、式（３−ｂ）は、ベイズの定理に基づく式変換である。又、式（３−ｃ）及び式（３−ｄ）は、ここでは、各候補カテゴリーＺが生じる事前確率p(Zc)及び事前確率p(Z)が、同一とみなして式変換している。

修正係数γは、式（３−ｄ）に示すように、第１の識別結果Ｚｃと第２の識別結果（第２の識別部３２の候補カテゴリーＺ）の同時確率で表される。ここで、第１の識別結果Ｚｃの信頼度Ｙｃは、当該第１の識別結果Ｚｃが真である確率を示すため、式（３−ｄ）の同時確率に対応する。

このように、第２の識別部３２が比較する候補カテゴリーＺ毎の評価値は、第１の識別結果Ｚｃと同種の候補カテゴリーＺについては、第２の特徴抽出結果Ｘから求まる事後確率の対数変換値（= log p(Z|X)）と信頼度Ｙｃの対数変換値（= logγ）を足しあわせた値となり、第１の識別結果Ｚｃと異種の候補カテゴリーＺについては、第２の特徴抽出結果Ｘから求まる事後確率の対数変換値（= log p(Z|X)）と１−信頼度Ｙｃの対数変換値（= log γ）を足しあわせた値となる。

第２の識別部３２は、かかる処理によって算出した候補カテゴリーＺ毎の評価値のうち、当該評価値が最も高い候補カテゴリーを対象物体に係るカテゴリーＺｏｕｔと決定する。

尚、上記の演算式（２）、（３）は、第２の識別部３２が識別処理を行う際の一例であって、種々に変更可能である。

［実施例］
図３〜図５を参照して、本実施形態に係る画像処理装置１００の具体的な実施例について説明する。

本実施例に係る画像処理装置１００は、撮像装置２００が生成する動画像に対して画像処理を施して、画像に映る人Ｂ１の行動カテゴリー（対象物体に係るカテゴリーに相当）を識別する。

図３は、本実施例に係る行動認識システムＵの構成の一例を示す図である。行動認識システムＵは、例えば、画像処理装置１００、撮像装置２００、及び通信ネットワーク３００を備えている。撮像装置２００は、人Ｂ１が画像に映るように、部屋内の適宜な位置に設置される。撮像装置２００は、通信ネットワーク３００を介して、画像処理装置１００に対して動画像のデータを送信する。

図４の図４Ａ〜図４Ｃは、画像処理装置１００が撮像装置２００から取得した時系列の画像の一例を示す図である。図４Ａ〜図４Ｃは、人Ｂ１を上方から撮像した画像を示し、図４Ａ及び図４Ｂでは人Ｂ１が歩行しているときの画像、図４Ｃでは人Ｂ１が転倒したときの画像を示す。

図５は、本実施形態に係る画像処理装置１００の各構成が実行する具体的処理を説明する図である。図５の各構成のブロック中には、当該構成の実行する処理を示している。

画像取得部１０は、撮像装置２００が連続的に生成した複数の画像データを取得し、順次、第１の特徴抽出部２１に対して送出する。

第１の特徴抽出部２１は、画像取得部１０から画像データを順次取得して、画像中の人Ｂ１のシルエット抽出を行う。第１の特徴抽出部２１は、例えば、Sobelフィルタ又はlaplacianフィルタ等を用いて、画像中の人Ｂ１の領域の境界位置における輝度勾配を検出することによって、人Ｂ１のシルエット（第１の特徴抽出結果Ｘｃに相当）の抽出を行う。

第１の識別部２２は、第１の特徴抽出部２１から取得する人Ｂ１のシルエットに対して、例えば、公知のテンプレートマッチングによる識別処理を行い、当該人Ｂ１が転倒したか否か等の行動カテゴリー（第１の識別結果Ｚｃに相当）を識別する。ここでは、第１の識別部２２は、例えば、候補の行動カテゴリーとして、転倒又は歩行を有している。

又、第１の識別部２２は、人Ｂ１のシルエットの時間的変化に基づいて、当該人Ｂ１の状態変化を識別する。第１の識別部２２は、例えば、図４Ｃに示すように、人Ｂ１の頭部のシルエットが急変したりした場合には、人Ｂ１が転倒したと識別する。第１の識別部２２は、かかる場合に、人Ｂ１の行動カテゴリーをより正確に識別するため、詳細認識部３０に対して、当該識別結果を送出し、詳細認識部３０に処理を実行させる。

信頼度取得部４０は、信頼度データ４０Ｍを参照して、第１の識別結果Ｚｃの信頼度Ｙｃを取得する。信頼度データ４０Ｍには、例えば、第１の識別結果Ｚｃが転倒を行動カテゴリーとして示す場合は信頼度８０％、第１の識別結果Ｚｃが歩行を行動カテゴリーとして示す場合は信頼度２０％のように設定されている。

第２の特徴抽出部３１は、第１の識別部２２から第１の識別結果Ｚｃと共に人Ｂ１の画像領域を示すデータを取得し、人Ｂ１の画像領域に対して、人Ｂ１の関節位置を抽出するための処理を行う。第２の特徴抽出部３１は、例えば、学習済みのＣＮＮを用いて、人Ｂ１の関節位置（第２の特徴抽出結果Ｘに相当）を抽出する。

尚、畳み込みニューラルネットワークを用いて、人Ｂ１の関節位置を抽出する手法は、公知の手法と同様であるため、ここでの詳細な説明は省略する（例えば、非特許文献１を参照）。

第２の特徴抽出部３１は、第１の特徴抽出部２１と同様に、複数の画像データそれぞれについて、順次、特徴抽出を行い、第２の識別部３２に対して送出する。

第２の識別部３２は、第２の特徴抽出部３１から取得する人Ｂ１の関節位置の時間的変化に係るデータに対して、例えば、学習済みの隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）による識別処理を行い、当該人Ｂ１の行動カテゴリー（第２の識別結果Ｚｏｕｔに相当）を識別する。

ここでは、第２の識別部３２は、候補カテゴリーとして、例えば、転倒、歩行、椅子に座る、及び物を取る等を有している。そして、第２の識別部３２は、第１の識別結果Ｚｃに基づいて、例えば、明らかに無関係な候補カテゴリーについては除外して、転倒又は椅子に座る等、より詳細な識別処理が必要な候補カテゴリーのみについて識別処理を実行する。尚、第２の識別部３２は、候補カテゴリー毎にＨＭＭのモデルを用意し、識別処理の際には、人Ｂ１の関節位置の系列データから、当該モデルそれぞれの事後確率を算出する構成となっている。

第２の識別部３２は、例えば、人Ｂ１の関節位置の時間的変化に基づいて、候補カテゴリー毎に、評価値を算出する。そして、第２の識別部３２は、式（２）、式（３）等を参照して上記したように、候補となる行動カテゴリー毎に修正係数γを算出して、候補となる行動カテゴリー毎の評価値を補正する。この際、第２の識別部３２は、式（２−ｄ）のように、第１の識別部２２と同種の候補カテゴリー（ここでは、転倒）の修正係数γについては信頼度（ここでは、７０％）を設定して評価値を補正し、転倒以外の椅子に座る等の修正係数γについては１−信頼度（ここでは、３０％）を設定して評価値を補正する。

第２の識別部３２は、かかる候補となる行動カテゴリー毎の評価値のうち、評価値が最大の行動カテゴリーを第２の識別結果として出力する。

尚、ＨＭＭを用いて、カテゴリーを識別する手法は、公知の手法と同様であるため、ここでの詳細な説明は省略する（例えば、非特許文献２を参照）。

以上のように、本実施形態に係る画像処理装置１００は、認識フェーズを複数段階に切り分け、段階的に特徴抽出対象又は候補カテゴリー等を絞り込みつつ、後段の認識フェーズ（ここでは、詳細認識部３０）において、前段の認識フェーズ（ここでは、粗認識部２０）の識別結果Ｚｃを利用して、対象物体に係るカテゴリーＺを識別する。これによって、高精度な識別性能を実現することができる。

又、本実施形態に係る画像処理装置１００によれば、識別結果とユーザの感触にギャップが生じた場合等においても、信頼度データ４０Ｍの調整により、最終的な識別結果（第２の識別結果Ｚｏｕｔ）をユーザが調整することが可能であり、認識システム全体としての最適化が可能である。

［変形例１］
図６は、変形例１に係る画像処理装置１００の各構成が実行する具体的処理を説明する図である。

変形例１に係る画像処理装置１００は、粗認識部２０及び詳細認識部３０が実行する処理の点で、上記実施形態と相違する。

変形例１に係る画像処理装置１００においては、第１の特徴抽出部２１をＨＯＧ（Histograms of Oriented Gradients）特徴量抽出部で構成し、第１の識別部２２を学習済みのＳＶＭ(Support Vector Machines)識別器で構成する。

又、変形例１に係る画像処理装置１００においては、第２の特徴抽出部３１を学習済みの畳み込みニューラルネットワークで構成し、第２の識別部３２を畳み込みニューラルネットワークの出力と全結合する学習済みの多層パーセプトロンで構成する。

このような構成によっても、上記実施形態と同様の効果を得ることができる。

［変形例２］
図７は、変形例２に係る画像処理装置１００の構成について説明する図である。

変形例２に係る画像処理装置１００は、第２の詳細認識部５０と第２の信頼度取得部６０とを有する点で、上記実施形態と相違する。

第２の詳細認識部５０（本発明の「第３の認識部」に相当）は、詳細認識部３０と同様に、特徴抽出部と識別部（図示せず）の組によって構成される。そして、第２の詳細認識部５０は、詳細認識部３０の識別結果に応じた識別処理を実行するように構成されている。つまり、第２の詳細認識部５０は、詳細認識部３０の識別結果に基づいて、更に、候補カテゴリーを絞り込んで、対象物体のカテゴリーの識別処理を実行する。

第２の信頼度取得部６０は、信頼度取得部４０と同様に、詳細認識部３０が分類する各候補カテゴリーと関連付けて記憶された識別結果の信頼度データ６０Ｍを参照する。そして、第２の信頼度取得部６０は、信頼度データ６０Ｍから詳細認識部３０の識別結果の信頼度を取得し、第２の詳細認識部５０に送出する。

尚、図７中では図示していないが、第２の詳細認識部５０の後段に、更に、同様の構成の認識部を設けてもよい。

このように認識フェーズを多段階に分け、各認識フェーズで前段の認識フェーズの信頼度を参照することで、識別性能をより高精度にすることができる。

［変形例３］
図５に示した実施例では、粗認識２０が分類する候補カテゴリー数が２カテゴリーの態様を示したが、当該候補カテゴリー数は、３カテゴリー以上にも適用できるのは勿論である。

その際、信頼度データ４０Ｍには、粗認識２０が分類する候補カテゴリー毎に、識別結果の信頼度を予め算出して記憶しておくのが好適である。これによって、詳細認識部３０は、上記実施例と同様に、信頼度を踏まえて、粗認識２０の識別結果を利用して、対象物体に係るカテゴリーＺを識別することが可能である。

［その他の実施形態］
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。

上記実施形態では、画像処理装置１００の構成の一例として、画像取得部１０、粗認識部２０、詳細認識部３０、及び信頼度取得部４０の機能が一のコンピュータによって実現されるものとして記載したが、複数のコンピュータによって実現されてもよいのは勿論である。又、当該コンピュータに読み出されるプログラムやデータも、複数のコンピュータに分散して格納されてもよい。

尚、上記実施形態では、画像処理装置１００の動作の一例として、画像取得部１０、粗認識部２０、詳細認識部３０、及び信頼度取得部４０の処理のフローについては記載していないが、これらの処理の手順は、任意であり、一部又は全部が直列的に実行されてもよいし、並列的に実行されるものとしてもよいのは勿論である。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

本開示に係る画像処理装置によれば、より高精度な画像認識が可能である。

１０ 画像取得部
２０ 粗認識部
２１ 第１の特徴抽出部
２２ 第１の識別部
３０ 詳細認識部
３１ 第２の特徴抽出部
３２ 第２の識別部
４０ 信頼度取得部
４０Ｍ 信頼度データ
５０ 第２の詳細認識部
６０ 第２の信頼度取得部
６０Ｍ 信頼度データ
１００ 画像処理装置

Claims (9)

1. 対象物体が撮像された画像を取得する画像取得部と、
   前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果に基づいて、前記対象物体に係るカテゴリーを識別する第１の認識部と、
   前記第１の認識部が分類する候補カテゴリーと関連付けて記憶された識別結果の信頼度を示すデータを参照して、前記第１の認識部の識別結果の信頼度を取得する信頼度取得部と、
   前記第１の認識部の識別結果に応じた識別処理を実行するように構成されており、前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果と前記第１の認識部の識別結果の信頼度とに基づいて、前記対象物体に係るカテゴリーを識別する第２の認識部と、
   を備える画像処理装置。
2. 前記第２の認識部は、前記第１の認識部の識別結果に基づいて前記対象物体に係るカテゴリーを識別する際の候補カテゴリーを選択し、当該候補カテゴリーの適否の判断に適合した識別処理を実行する、
   請求項１に記載の画像処理装置。
3. 前記第１の認識部は、
   前記画像中の前記対象物体に係る特徴ベクトルを抽出する第１の特徴抽出部と、
   前記第１の特徴抽出部の特徴抽出の結果に基づいて、前記対象物体に係るカテゴリーを識別する第１の識別部と、を有し、
   前記第２の認識部は、
   前記画像中の前記対象物体に係る特徴ベクトルを抽出する第２の特徴抽出部と、
   前記第２の特徴抽出部の特徴抽出の結果と前記第１の認識部の識別結果の信頼度とに基づいて、前記対象物体に係るカテゴリーを識別する第２の識別部と、を有する、
   請求項１又は２に記載の画像処理装置。
4. 前記第２の識別部は、
   前記第２の特徴抽出部の特徴抽出の結果から求まる事後確率として、前記対象物体に係るカテゴリーを分類する各候補カテゴリーについての評価値を算出し、
   前記第１の認識部の識別結果の信頼度に基づいて、当該評価値を補正し、
   当該評価値に基づいて前記対象物体に係るカテゴリーの識別結果に決定する、
   請求項３に記載の画像処理装置。
5. 前記画像取得部は、連続的に生成された複数の前記画像を取得し、
   前記第１の認識部は、複数の前記画像それぞれに対して行った特徴抽出の結果の時間的変化に基づいて、前記対象物体に係るカテゴリーを識別し、
   前記第２の認識部は、複数の前記画像それぞれに対して行った特徴抽出の結果の時間的変化と、前記第１の認識部の識別結果の信頼度と、に基づいて、前記対象物体に係るカテゴリーを識別する、
   請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記対象物体に係るカテゴリーは、前記対象物体に係る行動カテゴリーである、
   請求項５に記載の画像処理装置。
7. 前記第２の認識部が分類する候補カテゴリーと関連付けて記憶された識別結果の信頼度を示すデータを参照して、前記第２の認識部の識別結果の信頼度を取得する第２の信頼度取得部と、
   前記第２の認識部の識別結果に基づいて処理態様を決定した後、当該処理態様にて、前記第２の認識部の識別結果に応じた前記画像の特徴抽出処理を実行し、当該特徴抽出の結果と前記第２の認識部の識別結果の信頼度と、に基づいて、前記対象物体に係るカテゴリーを識別する第３の認識部と、
   を更に備える請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 対象物体が撮像された画像を取得し、
   前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果に基づいて、前記対象物体に係るカテゴリーを識別し、
   前記識別処理で分類する候補カテゴリーと関連付けて記憶された識別結果の信頼度を示すデータを参照して、前記識別処理の識別結果の信頼度を取得し、
   前記識別処理の識別結果に応じた処理を実行するように、前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果と前記識別処理の識別結果の信頼度とに基づいて、前記対象物体に係るカテゴリーを識別する、
   画像処理方法。
9. コンピュータに、
   対象物体が撮像された画像を取得する処理と、
   前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果に基づいて、前記対象物体に係るカテゴリーを識別する処理と、
   前記識別処理で分類する候補カテゴリーと関連付けて記憶された識別結果の信頼度を示すデータを参照して、前記識別処理の識別結果の信頼度を取得する処理と、
   前記識別処理の識別結果に応じた処理を実行するように、前記画像中の前記対象物体に係る特徴を抽出し、当該特徴抽出の結果と前記識別処理の識別結果の信頼度とに基づいて、前記対象物体に係るカテゴリーを識別する処理と、
   を実行させる画像処理プログラム。

Images