JP2010231254A - 画像解析装置、画像解析方法およびプログラム - Google Patents
画像解析装置、画像解析方法およびプログラム Download PDFInfo
- Publication number
- JP2010231254A JP2010231254A JP2009074825A JP2009074825A JP2010231254A JP 2010231254 A JP2010231254 A JP 2010231254A JP 2009074825 A JP2009074825 A JP 2009074825A JP 2009074825 A JP2009074825 A JP 2009074825A JP 2010231254 A JP2010231254 A JP 2010231254A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- feature
- image
- extracted
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】オブジェクトの検出処理と特定オブジェクトの追跡処理とを効率的にすることができる画像解析装置を提供すること。
【解決手段】画像解析装置は、動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出部と、抽出された複数の特徴量の信頼度を算出する信頼度算出部と、特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶部とを備える。
【選択図】図2
【解決手段】画像解析装置は、動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出部と、抽出された複数の特徴量の信頼度を算出する信頼度算出部と、特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶部とを備える。
【選択図】図2
Description
本発明は、画像解析装置、画像解析方法およびプログラムに関する。
携帯情報端末において動画像から高速に顔と顔部品を追跡することができるとされる顔追跡方法が知られている(例えば、特許文献1参照。)。また、人物の向きによらず、少ない計算量で監視領域内の人物の同定を行なうことができるとされる画像監視装置が知られている(例えば、特許文献2参照。)。
特開2006−228061号公報
特開2000−350187号公報
上記引用文献1に記載の技術では、不十分な精度の特徴量が記憶されると、顔部品を追跡できなくなってしまう。上記引用文献2に記載の技術においても同様に、人物の同定に不十分な精度の特徴量が記憶されると、人物を同定することができなくなってしまう。
上記課題を解決するために、本発明の第1の態様においては、画像解析装置であって、動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出部と、抽出された複数の特徴量の信頼度を算出する信頼度算出部と、特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶部とを備える。
信頼度算出部は、当該特定被写体のオブジェクトから抽出されるべき予め定められた複数の基準特徴量に対する抽出された特徴量の適合度が高い場合に、より大きい信頼度を算出してよい。
信頼度算出部は、抽出された特徴量が、画質がより高い特定被写体の画像から抽出された場合に、より大きい信頼度を算出してよい。
信頼度算出部は、抽出された特徴量が、解像度がより高い特定被写体の画像から抽出された場合に、より大きい信頼度を算出してよい。
信頼度算出部は、抽出された特徴量が、階調幅がより広い特定被写体の画像から抽出された場合に、より大きい信頼度を算出してよい。
特徴量記憶部は、抽出された複数の特徴量のうち、予め定めれた値より大きい信頼度で抽出された特徴量を記憶してよい。
特徴量記憶部は、複数の動画構成画像から抽出された同一種類の複数の特徴量のうち、より大きい信頼度で抽出された特徴量をより優先して記憶してよい。
特徴量記憶部は、一の動画構成画像から抽出された複数種類の特徴量のうち、より大きい信頼度で抽出された種類の特徴量をより優先して記憶してよい。
特徴量記憶部は、信頼度にさらに対応づけて特徴量を記憶しており、画像解析装置は、特徴量記憶部が記憶している信頼度より大きい信頼度の特徴量が他の動画構成画像から抽出された場合に、特徴量記憶部が記憶している特徴量を、当該他の動画構成画像から抽出された特徴量で更新する特徴量更新部をさらに備えてよい。
所定の特徴量に適合する特徴量が画像から抽出されるべき被写体の種別を示す種別情報を、所定の特徴量に対応づけて格納する被写体情報格納部と、特徴量記憶部が記憶している特徴量に適合する特徴量に対応づけて被写体情報格納部が格納している種別情報が示す被写体の種別を、特徴量記憶部が記憶している特徴量が抽出された被写体の種別として判断する被写体特定部とをさらに備えてよい。
被写体情報格納部は、複数の特徴量の組み合わせに対応づけて、当該複数の特徴量にそれぞれ適合する複数の特徴量が抽出されるべき被写体の種別を示す種別情報を格納し、被写体特定部は、特徴量記憶部が記憶している複数の特徴量にそれぞれ適合する複数の特徴量に対応づけて被写体情報格納部が格納している種別情報が示す被写体の種別を、特徴量記憶部が記憶している複数の特徴量が抽出された被写体の種別として判断してよい。
検索する被写体像から抽出されるべき特徴量を取得する検索被写体情報取得部と、検索被写体情報取得部が取得した特徴量に適合する特徴量を、特徴量記憶部が記憶している特徴量の中から特定する特徴量抽出部と、特徴量抽出部が抽出した特徴量が抽出された被写体を識別する情報を出力する出力部とをさらに備えてよい。
本発明の第2の態様においては、画像解析方法であって、動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出段階と、抽出された複数の特徴量の信頼度を算出する信頼度算出段階と、特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶段階とを備える。
本発明の第3の態様においては、画像解析装置のプログラムであって、コンピュータを、動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出部、抽出された複数の特徴量の信頼度を算出する信頼度算出部、特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶部として機能させる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態における画像処理システム10の一例を示す。以下に説明するように、画像処理システム10は、一実施形態において店舗用の画像処理システムとして機能することができる。
画像処理システム10は、店舗空間160を撮像する複数の撮像装置100a−b、店舗サーバ170、通信ネットワーク150、画像解析装置110、解析結果データベース112、および端末装置180を備える。なお、以下の説明において、撮像装置100aおよび撮像装置100bを、撮像装置100と総称する場合がある。同様に、以後の説明においては、末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。
撮像装置100aは店舗空間160を撮像する。撮像装置100aは、店舗空間160内の人物164aおよび人物164bを、店舗空間160内の商品棚162a、商品棚162bなどとともに撮像して、動画を生成する。撮像装置100aは、店舗空間160を撮像して得られた動画を、店舗サーバ170に供給する。なお、撮像装置100bは、撮像装置100aと異なる位置に設けられる。その他の点では、撮像装置100bの機能および動作は撮像装置100aの機能および動作と略同一であるので、撮像装置100については説明を省略する。
店舗サーバ170は、撮像装置100aおよび撮像装置100bから供給された動画を、画像解析装置110に向けて通信ネットワーク150に送出する。通信ネットワーク150としては、インターネットなどの電気通信回線を例示することができる。店舗サーバ170は、例えば撮像装置100の近傍に設けられる。他の形態において、店舗サーバ170は店舗空間160内に設けられてもよい。
また、店舗サーバ170は、撮像装置100の撮像動作を制御する。例えば、店舗サーバ170は、撮像装置100の撮像機能のオン/オフ、撮像レートなどを制御する。撮像装置100がズーム撮影できる場合には、店舗サーバ170は撮像装置100のズーム値を制御してもよい。また、撮像装置100の撮像方向が可変である場合には、店舗サーバ170は撮像装置100の撮像方向を制御してもよい。
画像解析装置110は、店舗空間160とは異なる空間に設けられ、撮像装置100がそれぞれ撮像した動画を、通信ネットワーク150を通じて店舗サーバ170から取得する。画像解析装置110は、動画を解析して、解析結果を端末装置180に向けて通信ネットワーク150に送出する。
なお、画像解析装置110は、解析結果を解析結果データベース112に出力してもよい。画像解析装置110は、解析結果を解析結果データベース112から読み出して、読み出した解析結果を端末装置180に送信してもよい。なお、解析結果データベース112は、画像解析装置110が有してもよい。他にも、解析結果データベース112は、画像解析装置110が設けられた空間とは異なる空間に設けられてよい。この場合、画像解析装置110は、通信ネットワーク150を介して解析結果データベース112に解析結果を送信してもよい。
端末装置180は、画像解析装置110による解析結果を、通信ネットワーク150を通じて画像解析装置110から取得する。端末装置180は、解析結果をユーザの指示に応じて加工して表示する。端末装置180は、画像解析装置110が設けられた空間とは異なる空間に設けられてよい。端末装置180は、店舗空間160の近傍または店舗空間160内に設けられてもよい。
以下に、画像解析装置110の動作の一例を概略的に説明する。画像解析装置110は、撮像装置100が撮像した動画に含まれる複数のフレーム画像のそれぞれから、人物164などの移動体が撮像されたオブジェクトを検出するとともに、同じ被写体のオブジェクトを画像内において追跡する。このとき、画像解析装置110は、複数の弱識別器を利用してオブジェクトを検出および追跡する。
具体的には、画像解析装置110は、低解像度画像から識別結果を算出する複数の弱識別器、中解像度画像から識別結果を算出する複数の弱識別器、高解像度画像から識別結果を算出する複数の弱識別器を有している。これらの弱識別器は、画像から抽出した特徴量に基づき、識別結果を算出する。
低解像度画像用の弱識別器は、人物など特定種類の被写体のオブジェクトを抽出するための弱識別器であり、低解像度画像から多様な種類の特徴量を抽出して識別結果を算出する。これにより、高いロバスト性で人物のオブジェクトを検出することができる。なお、低解像度画像用の弱識別器は、追跡対象のオブジェクトに適応されずに用いられる。低解像度画像用の弱識別器は、例えば事前学習等によって高いロバスト性で人物のオブジェクトを検出できるよう構築されている。
中解像度画像用の弱識別器も同様に、多様な種類の特徴量を抽出して識別結果を算出する。中解像度画像用の弱識別器は、人物など特定種類の被写体のオブジェクトを抽出するための複数の弱識別器と、追跡対象のオブジェクトに対して適応化されていく複数の弱識別器とにより構築される。特定種類の被写体のオブジェクトを抽出するための弱識別器は、低解像度画像用の弱識別器と同様に、事前学習等によって構築され、追跡対象のオブジェクトに適応されずに用いられる。また、中解像度画像用の弱識別器のうち、追跡対象の人物に対して適応化される弱識別器は、例えばオンライン学習によりフレーム毎に学習されていく。
高解像度画像用の弱識別器も、多様な種類の特徴量を抽出して識別結果を算出する。高解像度画像用の弱識別器は追跡対象のオブジェクトに対して、オンライン学習によりフレーム毎に適応化されていく。
事前学習で弱識別器を構築する場合、教師画像を用いた強化学習の手法を用いることができる。また、弱識別器群は、Adaboost等のブースティングを用いた集団学習により構築されてよい。また、オンライン学習としては、オンラインブースティングの手法を用いることができる。
画像解析装置110は、フレーム画像毎に異なる組み合わせの弱識別器を用いてオブジェクトを抽出したり、フレーム画像毎に異なる組み合わせの弱識別器を適応化して得られた弱識別器を用いてオブジェクトを抽出したりする。このように、画像解析装置110は、特定種類のオブジェクトをロバストに検出する弱識別器と、被写体に適応化することができる追跡処理とを組み合わせた識別器を用いて、オブジェクトを抽出する。このため、画像解析装置110は、特定種類のオブジェクトをロバストに検出でき、かつ高精度に追跡することができる。
なお、画像解析装置110は、抽出した特徴量に基づいてオブジェクトを識別して、識別した結果を解析結果データベース112に出力してよい。また、画像解析装置110は、検索対象の特徴量を外部から取得して、取得した特徴量が抽出されたオブジェクトの動画を特定する情報を、解析結果データベース112に出力してよい。
なお、本実施形態において、"オブジェクトを抽出する"とは、画像領域から特定のオブジェクトを検出および追跡することを指す。また、画像解析装置110は、抽出したオブジェクトが存在する領域を識別する座標情報などの位置情報を解析結果として出力してよい。他にも画像解析装置110は、オブジェクトが存在する領域を切り出したオブジェクト画像を出力してもよい。
なお、記憶媒体90は、画像解析装置110用のプログラムを記憶している。記憶媒体90が記憶しているプログラムは、本実施形態に係る画像解析装置110として機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するCPUは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。CPUが実行するプログラムは、本図および以後の図に関連して説明される画像解析装置110などとして当該コンピュータを機能させる。
記憶媒体90としては、CD−ROMの他に、DVDまたはPD等の光学記録媒体、MOまたはMDなどの光磁気記録媒体、テープ媒体またはハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置が記憶媒体90として機能することもできる。
また、記憶媒体90は、画像処理システム10用のプログラムを記憶してよい。画像処理システム10用のプログラムは、画像解析装置110の他に、本図および以後の図に関連して説明される解析結果データベース112、店舗サーバ170、端末装置180、および撮像装置100の少なくともいずれかとして、コンピュータを機能させることができる。
図2は、画像解析装置110のブロック構成の一例を示す。画像解析装置110は、画像取得部200、特徴量抽出部210、適合度算出部220、信頼度算出部202、オブジェクト抽出部230、基準特徴量算出部240、オブジェクト領域推定部250、向き特定部260、特徴量更新部270、特徴量記憶部280、被写体解析部204、出力部290、および解析結果出力部292を有する。基準特徴量算出部240は、更新特徴量選択部242、更新特徴量算出部244、および非更新特徴量選択部246を含む。
画像取得部200は、撮像装置100が撮像した動画を、通信ネットワーク150を通じて店舗サーバ170から取得する。画像取得部200が取得した動画は、特徴量抽出部210およびオブジェクト抽出部230に供給される。
特徴量抽出部210は、動画に含まれるフレーム画像から特徴量を抽出する。特徴量としては、輝度分布などの輝度特徴量、種々のウェーブレット特徴量、Haar−like特徴量、Edgelet特徴量、EOH特徴量、HOG特徴量などを例示することができる。
適合度算出部220は、基準特徴量に対する、特徴量抽出部210が抽出した特徴量の適合度を出力する。具体的には、特徴量記憶部280が基準特徴量を記憶していて、適合度算出部220は、特徴量記憶部280が記憶している基準特徴量に対する適合度を出力する。
なお、特徴量抽出部210は、異なる特徴量の種類毎に特徴量を抽出する。また、特徴量記憶部280は、異なる種類のそれぞれについて基準特徴量を記憶している。そして、適合度算出部220は、種類毎に適合度を算出する。
なお、異なる種類の特徴量としては、上記したようにHaar−like特徴量、Edgelet特徴量など、特徴量の種類そのものが異なる特徴量であってよい。他にも、異なる種類の特徴量としては、異なる算出方法で算出した特徴量を含むことができる。異なる算出方法としては、異なる解像度の画像から抽出することを含む。つまり、特徴量の種類そのものが同じあっても、異なる解像度の画像から抽出された特徴量を、本実施形態においては異なる種類の特徴量とみなすことができる。
例えばHaar−Like特徴などの矩形特徴を用いた場合には、検出窓に設定した第1矩形領域の画素値の合計値と、検出窓に設定した第2矩形領域内の画素値の合計値との差(以下、"合計値の差"と呼ぶ。)が、特徴量となる。この場合において基準特徴量は、抽出対象となる被写体のオブジェクトから算出されることが期待される、合計値の差の基準値であってよい。この場合において、オブジェクトの画像から抽出された合計値の差と、当該基準値との差の一致度を、特徴量の適合度とみなすことができる。
オブジェクト抽出部230は、適合度算出部220が算出した各種類についての適合度に基づき、対象とした画像が特定のオブジェクトの画像であるか否かを判断する。つまり、オブジェクト抽出部230は、抽出することができる。
なお、特徴量抽出部210、適合度算出部220、特徴量記憶部280、およびオブジェクト抽出部230は、識別器の処理として実装され得る。例えば、特徴量の1つの種類に着目すれば、特徴量抽出部210が特徴量を抽出してから適合度算出部220が適合度を出力するまでの処理を、一の弱識別器による処理とみなすことができる。そして、複数の種類についての適合度からオブジェクトの画像であるか否かを判断するオブジェクト抽出部230の処理までを含めると、オブジェクトを抽出するための一の識別器の処理とみなすことができる。このように、弱識別器による評価値は、この発明における適合度の一例とみなすことができる。したがって、複数種類の特徴量にそれぞれ対応する複数の弱識別器により一つの識別器を形成した場合には、複数の弱識別器のそれぞれによる評価値を、それぞれ対応する種類の特徴量の適合度とみなすことができる。
オブジェクト抽出部230は、オブジェクトの画像として判断した場合には、オブジェクトを含む所定の領域の画像であるオブジェクト周辺画像をフレーム画像から切り出して、基準特徴量算出部240に供給される。基準特徴量算出部240は、オブジェクト抽出部230から供給された画像を用いて、次のフレーム画像からオブジェクトを抽出するための基準特徴量を算出する。基準特徴量算出部240が算出した基準特徴量は、特徴量更新部270によって特徴量記憶部280に記憶される。これにより、特徴量記憶部280が記憶している基準特徴量は、基準特徴量算出部240が算出した基準特徴量で更新される。
そして、次のフレーム画像から、上述した特徴量抽出部210、適合度算出部220、およびオブジェクト抽出部230における処理により、オブジェクトが抽出される。この動作を繰り返すことによって、複数のフレーム画像のそれぞれから、オブジェクトが抽出される。
なお、基準特徴量算出部240は、オブジェクト周辺画像を用いて学習することで、オブジェクト周辺画像に適応した基準特徴量を算出する。このように基準特徴量算出部240は、現フレームのオブジェクトの画像に適応した特徴量を算出することができる。このため、基準特徴量算出部240は、特定のオブジェクトの追跡に適した基準特徴量を算出することができる。
なお、基準特徴量算出部240によってオブジェクト周辺画像に適応した基準特徴量が算出されるが、一の基準特徴量を更新することは、上述した弱識別器の処理が適応化されることを意味する。つまり、基準特徴量算出部240により基準特徴量が算出されて特徴量記憶部280に記憶されるまでの特徴量更新処理は、適応した弱識別器を構築する処理とみなすことができる。基準特徴量算出部240における基準特徴量の算出処理が学習に基づく場合、特徴量更新処理は、上述した識別器のオンライン学習処理とみなすことができる。
なお、基準特徴量算出部240は、抽出されたオブジェクトとして撮像された被写体の向きに応じて基準特徴量を更新することができる。例えば、基準特徴量算出部240は、特徴量記憶部280が被写体の向き毎に、オブジェクトを抽出するための基準特徴量を記憶してよい。この場合に、基準特徴量算出部240は、抽出されたオブジェクトとして撮像された被写体の向きに対応する基準特徴量を選択して更新することができる。
なお、向き特定部260は、オブジェクトとして撮像された被写体の向きを特定する。特徴量記憶部280が向き毎に基準特徴量を記憶している場合、向き特定部260は、最も適合する基準特徴量に対応づけて特徴量記憶部280が記憶している向きを、被写体の向きとすることができる。基準特徴量算出部240は、向き特定部260が特定した向きに基づき、上述の基準特徴量の更新処理をすることができる。
また、基準特徴量算出部240は、適合度算出部220が算出した適合度に基づき、基準特徴量を算出してよい。例えば、次フレーム画像からオブジェクトを抽出するための基準特徴量として、適合度が低い基準特徴量を除外して、適合度がより高い基準特徴量を組み入れることができる。言い換えると、弱識別器の組み合わせを替えることができる。このため、特定の被写体のオブジェクトを追跡する追跡処理の精度を向上することができる。
また、基準特徴量算出部240は、各フレームにおけるオブジェクトの位置に基づき基準特徴量を算出することができる。例えば、基準特徴量算出部240は、現フレームにおけるオブジェクトの画像を正解画像として用いて学習したり、現フレームにおけるオブジェクトの領域以外の領域の画像を不正解画像として用いて学習したりすることで、基準特徴量を算出することができる。
なお、オブジェクト領域推定部250は、次のフレーム画像上におけるオブジェクトの位置を推定する。具体的には、動画におけるオブジェクトの動き速度と、現フレーム画像におけるオブジェクトの位置とに基づき、次のフレーム画像上におけるオブジェクトの位置を推定することができる。オブジェクト領域推定部250は、現フレーム画像から、当該推定した位置を含む領域の画像を切り出して、基準特徴量算出部240に供給してよい。
この場合に、基準特徴量算出部240は、オブジェクト領域推定部250から供給された画像を不正解画像として学習することにより、基準特徴量を算出することができる。これにより、特徴量記憶部280が記憶している基準特徴量セットは、次のフレーム画像におけるオブジェクトの周辺の画像が検出されにくいものに強化されているので、次フレーム画像からのオブジェクトの検出確率を高めることができる。
信頼度算出部202は、特徴量抽出部210により抽出された複数の特徴量の信頼度を算出する。例えば、信頼度算出部202は、当該特定被写体のオブジェクトから抽出されるべき予め定められた複数の基準特徴量に対する抽出された特徴量の適合度が高い場合に、より大きい信頼度を算出する。
上述したように弱識別器による評価値を適合度とした場合には、各弱識別器による評価値を、複数の特徴量の信頼度の指標とすることができる。例えば、人物の顔を検出するための識別器は、様々な特徴を持つ人物の顔を検出することを目的として、様々な種類の弱識別器を用いて形成される。これらの弱識別器で特定の人物の顔のオブジェクトを評価した結果、高い評価値が得られた弱識別器は、その人物を特定(または、認識)するのに適した弱識別器とみなすことができる。つまり、当該オブジェクトは、高い評価値が得られた弱識別器に対応する種類の特徴量を有するとみなすことができる。したがって、信頼度算出部202は、より高い評価値が得られた弱識別器に対応する種類の特徴量の信頼度を、この発明における特定被写体のオブジェクトから抽出された特徴量の信頼度としてより高く算出することができる。
信頼度算出部202は、抽出された特徴量が、画質がより高い特定被写体の画像から抽出された場合に、より大きい信頼度を算出してもよい。より具体的には、信頼度算出部202は、抽出された特徴量が、解像度がより高い特定被写体の画像から抽出された場合に、より大きい信頼度を算出してよい。つまり、オブジェクト領域の画像の解像度が高いほど、より大きい信頼度を算出する。
他にも、信頼度算出部202は、抽出された特徴量が、階調幅がより広い特定被写体の画像から抽出された場合に、より大きい信頼度を算出してもよい。このように、信頼度算出部202は、画質がより高い画像から抽出された特徴量について、より大きい信頼度を算出する。
そして、特徴量記憶部280は、特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する。具体的には、特徴量記憶部280は、抽出された複数の特徴量のうち、予め定めれた値より大きい信頼度で抽出された特徴量を記憶する。
特徴量記憶部280は、複数のフレーム画像から抽出された同一種類の複数の特徴量のうち、より大きい信頼度で抽出された特徴量をより優先して記憶する。特徴量記憶部280は、一のフレーム画像から抽出された複数種類の特徴量のうち、より大きい信頼度で抽出された種類の特徴量をより優先して記憶する。このように、特徴量記憶部280は、特徴量空間および時間空間について、より大きい信頼度で抽出された種類の特徴量をより優先して記憶することができる。
なお、特徴量記憶部280は、信頼度にさらに対応づけて特徴量を記憶していてよい。特徴量更新部270は、特徴量記憶部280が記憶している信頼度より大きい信頼度の特徴量が他のフレーム画像から抽出された場合に、特徴量記憶部280が記憶している特徴量を、当該他のフレーム画像から抽出された特徴量で更新してよい。このため、抽出信頼度が高い特徴量を蓄積していくことができる。
被写体解析部204は、特徴量記憶部280が記憶している基準特徴量を用いて被写体の画像を解析する。具体的には、特徴量記憶部280が記憶している基準特徴量が抽出された人物の属性を判断したり、当該人物を認識したりする。解析結果出力部292は、被写体解析部204が解析した解析結果を外部に出力する。なお、被写体解析部204の機能および動作については、図3に関連して説明する。
ここで、基準特徴量算出部240における各部の動作について概略説明すると、更新特徴量選択部242は、更新すべき種類を特定する。例えば、更新特徴量選択部242による処理としては、上述したような適合度の低い種類の基準特徴量を除外して、新たな基準特徴量を導入したりすることができる。そして、更新特徴量算出部244は、更新特徴量選択部242が選択した種類の特徴量を、学習等によって適応化する。また、非更新特徴量選択部246は、適応化せずに次フレーム画像においてもオブジェクト抽出に使用する種類の特徴量を選択してよい。なお、基準特徴量算出部240における各部の動作については後に詳述する。
また、出力部290は、オブジェクト抽出部230が抽出したオブジェクトの情報を、外部に出力する。例えば、出力部290は、抽出されたオブジェクトの位置、抽出されたオブジェクトの画像そのものを、解析結果データベース112、端末装置180などに出力してよい。以上説明したように、画像解析装置110によると、オブジェクトの検出処理とオブジェクトの追跡処理とを一体的に行うことができ、オブジェクトを追跡するための演算量を低減することができる。
図3は、被写体解析部204のブロック構成の一例を示す。被写体解析部204は、解析対象画像取得部310、特徴量抽出部320、被写体情報格納部330、および被写体特定部340を含む。
被写体情報格納部330は、所定の特徴量に適合する特徴量が画像から抽出されるべき被写体の種別を示す種別情報を、所定の特徴量に対応づけて格納する。被写体特定部340は、特徴量記憶部280が記憶している特徴量に適合する特徴量に対応づけて被写体情報格納部が格納している種別情報が示す被写体の種別を、特徴量記憶部280が記憶している特徴量が抽出された被写体の種別として判断する。被写体の種別としては、年齢、性別などを例示することができる。
例えば、被写体情報格納部330は、複数の特徴量の組み合わせに対応づけて、当該複数の特徴量にそれぞれ適合する複数の特徴量が抽出されるべき被写体の種別を示す種別情報を格納している。被写体特定部340は、特徴量記憶部280が記憶している複数の特徴量にそれぞれ適合する複数の特徴量に対応づけて被写体情報格納部が格納している種別情報が示す被写体の種別を、特徴量記憶部280が記憶している複数の特徴量が抽出された被写体の種別として判断する。このように、被写体特定部340は、適合する特徴量の組み合わせに基づき、被写体の種別を判断することができる。例えば、被写体特定部340は、特定の特徴量の組み合わせについて適合した場合に、抽出されたオブジェクトが、当該組み合わせに対応する種別の被写体の画像であると判断することができる。
解析対象画像取得部310は、特定すべき被写体の画像を取得する。特徴量抽出部320は、解析対象画像取得部310が取得した画像から特徴量を抽出する。なお、解析対象画像取得部310および特徴量抽出部320は、検索する被写体像から抽出されるべき特徴量を取得する検索被写体情報取得部として機能することができる。
被写体特定部340は、抽出された特徴量に適合する特徴量を、特徴量記憶部280が記憶している特徴量の中から特定する。具体的には、被写体情報格納部330は、特徴量記憶部280が記憶している特徴量を、被写体を識別する情報に対応づけて記憶している。被写体を識別する情報としては、人物を識別する情報、上述の被写体の種別を識別する情報などを例示することができる。
そして、被写体特定部340は、特徴量抽出部320が抽出した特徴量に適合する特徴量に対応づけて被写体情報格納部330が格納している、被写体を識別する情報を特定する。そして、解析結果出力部292は、特徴量抽出部320が抽出した特徴量が抽出された被写体を識別する情報を出力する。なお、被写体解析部204の機能および動作については、図8および図9に関連してより詳細に説明する。
図4は、画像解析装置110における処理内容の一例を模式的に示す。以下に、画像解析装置110の機能および動作を、識別器あるいは弱識別器による処理を例に挙げて説明する。
識別器セット404は、画像解析装置110がオブジェクト抽出処理に用いることができる複数の識別器402a〜cを有している。識別器402a〜cは、それぞれ被写体の異なる向きに対応している。具体的には、識別器402aは、人物の正面顔を検出するのに適した複数の弱識別器400a〜cにより形成される。
ここで弱識別器400aは、低解像度画像に対する1以上の弱識別器400により形成される。以後の図において、1つの弱識別器400は1つの横長の矩形で示される。弱識別器400bは、中解像度画像に対する1以上の弱識別器400により形成され、弱識別器400cは、高解像度画像に対する1以上の弱識別器400により形成される。
また、識別器402bは、人物の右横顔を右横顔を検出するのに適した複数の弱識別器400により形成され、識別器402cは、人物の左横顔を右横顔を検出するのに適した複数の弱識別器400により形成される。この点を除いて、識別器402bおよび識別器402cは識別器402aと略同一の構成を有するので、説明を省略する。
以下に、本図を用いて、画像解析装置110が、識別器セット404から、オブジェクト抽出に用いる識別器セット464を生成する処理を説明する。ここでは、説明の都合上、オブジェクト抽出部230は、処理480において、前のフレーム画像から特定のオブジェクトを既に抽出しているものとする。オブジェクト抽出部230は、オブジェクトの領域を示す情報を基準特徴量算出部240に供給する。
なお、オブジェクトが抽出された段階においては、適合度算出部220は識別器セット464に含まれる識別器を用いて適合度を算出している。適合度算出部220が算出した適合度は、基準特徴量算出部240に供給される。また、オブジェクトが抽出された段階においては、向き特定部260は、オブジェクトが示す被写体の向きを特定しており、特定した向きも基準特徴量算出部240に供給される。また、オブジェクトが抽出された段階においては、オブジェクト領域推定部250は、次フレーム画像におけるオブジェクトが存在する領域を推定しており、推定した領域を示す情報は基準特徴量算出部240に供給されている。
更新特徴量算出部244は、オブジェクトの領域を示す情報に基づき、オブジェクトの周辺の画像であるオブジェクト周辺画像412を生成する(処理410)。ここでいうオブジェクト周辺画像とは、オブジェクトの領域と、オブジェクトの周囲の領域とを含む。そして、更新特徴量算出部244は、オブジェクト周辺画像412を用いて、所定の画素数の教師画像422を複数生成する(処理420)。
教師画像422は、正解画像および不正解画像を含む。更新特徴量算出部244は、オブジェクト周辺画像412中のオブジェクトの領域の画像から、複数の正解画像を生成する。また、更新特徴量算出部244は、オブジェクト周辺画像412中のオブジェクト以外の領域を含む領域の画像から、複数の不正解画像を生成する。
処理430において、非更新特徴量選択部246により、識別器402が有する弱識別器の中から、次のフレーム画像においてオブジェクトを抽出するためにオブジェクト抽出部230が使用する識別器が選択される。処理430において選択された識別器は、オブジェクト周辺画像に適応されずに、オブジェクト抽出に用いられる。
なお、以後の説明では、向き特定部260により人物の正面顔のオブジェクトが抽出されたとする。この場合、処理430で選択される弱識別器400、および、処理450で適応される弱識別器400は、いずれも識別器402aを形成する弱識別器400から選択される。もちろん、右横顔のオブジェクトが抽出された場合には識別器402bから選択され、左横顔のオブジェクトが抽出された場合には識別器402cから選択されることは言うまでもない。
このとき、オブジェクトへの適合度が高い弱識別器400が選択されてよい。また、低解像度画像用の弱識別器400aの中から所定数の弱識別器400が選択されてよい。また、低解像度画像用の弱識別器400aに加えて、中解像度画像用の弱識別器400aの中から、所定数の弱識別器400が選択されてよい。
一方、更新特徴量選択部242の処理により、オブジェクト周辺画像に適応させる弱識別器400を選択する。具体的には、処理440において、識別器セット404に含まれる弱識別器400のそれぞれによりオブジェクト周辺画像に対する判定処理がなされ、識別結果442が算出される。そして、処理450において、識別結果442に基づき、識別器セット464を生成する。
例えば、更新特徴量選択部242による処理により、適応させるべき弱識別器400が選択される。選択された識別器は、オブジェクト周辺画像に適応されてオブジェクト抽出に用いられる。このとき、オブジェクトへの適合度がより低い弱識別器400が、適応させるべき弱識別器としてより優先的に選択されてよい。また、中解像度画像用の弱識別器400bから、所定数の弱識別器400が選択されてよい。また、弱識別器400bからの弱識別器400に加えて、高解像度画像用の弱識別器400aの中から、所定数の弱識別器400が選択されてよい。
ここで、更新特徴量選択部242により選択された弱識別器400は、更新特徴量算出部244による処理により、オブジェクト周辺画像412に適応される。ここでは、教師画像422を用いたオンラインブースティングの手法により、弱識別器400を適応させてよい。そして、特徴量更新部270による処理により、適応された弱識別器460を生成する。
処理450で適応された弱識別器460と、処理430で選択された弱識別器400により、識別器セット464が構築される。なお、処理430で選択された弱識別器400は適応されていないが、次のフレーム画像からのオブジェクト抽出に用いられる弱識別器であるので、便宜上、符号を変えて弱識別器460として示している。
上述したように、弱識別器460aは、いずれも弱識別器400aと同じ識別処理をする弱識別器となる。そして、弱識別器460aのうちの所定数の弱識別器460が、次のフレーム画像からのオブジェクト抽出処理に用いられる。
また、弱識別器460bのうちの一部の弱識別器460は、いずれも弱識別器400bのうちの対応する弱識別器400と同じ識別処理をする弱識別器であってよい。このうちの一部の弱識別器460が、次のフレーム画像からのオブジェクト抽出処理に用いられる。そして、それ以外の弱識別器460は、弱識別器400bのうちの対応する弱識別器400が処理450において適応された弱識別器であってよい。適応された弱識別器は、次のフレーム画像からのオブジェクト抽出処理に用いられる。
また、弱識別器460cのうち更新する弱識別器として選択された弱識別器460は、弱識別器400cのうちの対応する弱識別器400が処理450において適応された弱識別器であって、これらの弱識別器がオブジェクト抽出処理に用いられる。
処理480において、オブジェクト抽出部230は、識別器セット464のうち、オブジェクト抽出処理に用いられるべき弱識別器460を用いて、次のフレーム画像からオブジェクトを抽出する。なお、処理470は、オブジェクト領域推定部250が次のフレーム画像上においてオブジェクトが存在する領域を推定する処理を示している。処理480においては、オブジェクト抽出部230は、処理470において推定された領域の画像である推定領域画像472に対して、識別器セット464に含まれる弱識別器を用いて、オブジェクトの探索・認識処理をする。
図5は、処理450における処理内容の一例を模式的に示す。識別器502aは、特定のオブジェクトの検出処理に用いられる識別器であるとする。本図を参照して、次のフレーム画像に対するオブジェクト抽出処理に用いられる新たな識別器を構築する場合の処理を説明する。ここでは特に、オブジェクト周辺画像に適応させる弱識別器を構築する処理を中心に説明する。なお、正面顔に対する識別器462aに対する処理が以下に説明されるが、識別器462b、識別器462cに対する処理も同様であることは言うまでもない。
識別器502aは、識別器462aのうち、オブジェクト抽出に実際に用いられる識別器を示す。識別器502aは、弱識別器500aおよび弱識別器500bに分けられる。弱識別器500aは、弱識別器460aのうちのオブジェクト抽出に用いられる弱識別器460と、弱識別器460bのうちオブジェクト抽出に用いられ、オブジェクト周辺画像に適応され得ない弱識別器460とを示している。弱識別器500bは、オブジェクト周辺画像に適応され得る弱識別器を示している。
弱識別器500aは、高解像度用の弱識別器460aの一部と、中解像度用の弱識別器460bの一部とを含む。特定のオブジェクトが抽出された場合、オブジェクト抽出部230は、弱識別器500aを用いて、後続の1以上のフレーム画像から特定のオブジェクトを抽出する。なお、撮像された人物の顔の向きが大きく変わった場合には、識別器462bなど、顔の向きに対応する他の識別器462が用いられる。この場合においても、特定の顔向きのオブジェクトが抽出された後は、後続の1以上のフレーム画像から特定の顔向き用に構築された識別器が用いられてよい。
このように、人物検出用の弱識別器400aから選択された、特定のオブジェクトを抽出するのに適した組み合わせの低解像度用および一部の中解像度用の弱識別器500aが、後続の1以上のフレーム画像からのオブジェクト抽出処理に用いられる。このため、他のオブジェクトを誤検出する確率を低減しつつ、演算量を低減することができる。
続いて、弱識別器500bに対する処理を説明する。弱識別器500bは、P個の弱識別器500により形成される。処理510において、更新特徴量選択部242による処理により、除外するN個の弱識別器が選択される。具体的には、オブジェクトの画像に対する適合度が小さいものから順に、N個の弱識別器が除外する弱識別器として選択されてよい。弱識別器500bに示されるように、弱識別器500bは、(P−N)個の弱識別器520Aと、N個の弱識別器520Bとに分けられる。処理530における除外処理で弱識別器520Bが除外することにより、(P−N)個の弱識別器520Aが残る。
次に、次のフレーム画像からのオブジェクト抽出処理に用いられる弱識別器562を識別器402aから生成する処理を説明する。処理550において、更新特徴量算出部244による処理により、追加するM個の弱識別器の候補を、識別器402aに含まれる弱識別器400の中から選択する。この場合、オブジェクトの画像への適合度が高い順にM個の弱識別器400が選択されてよい。選択された弱識別器は、弱識別器552として示されている。
処理560においては、選択された弱識別器552と、教師画像422とを用いて、オンラインブースティングの手法によりN個の弱識別器562が、次のフレーム画像からのオブジェクト抽出処理に用いられる識別器として決定される。
更新特徴量算出部244による処理により、(P−N)個の弱識別器520Aと、N個の弱識別器562とが結合されて、P個の弱識別器が形成される。形成された弱識別器と、弱識別器500aとにより、次のフレーム画像からのオブジェクト抽出処理に実際に用いられる識別器が構築される。オブジェクト抽出部230は、構築された識別器を用いて次のフレーム画像からオブジェクトを抽出する。
そして、更なる次のフレーム画像からオブジェクトを抽出するための識別器は、現在のフレーム画像で構築された識別器を本図の識別器502とみなして本図で説明した処理をすることで構築される。そしてこのような処理を繰り返すことで、動画に含まれる複数のフレーム画像から特定のオブジェクトを検出・追跡することができる。
以上説明したように、あるフレーム画像内のオブジェクトの画像に対してより高い適合度が算出された弱識別器が、次のフレーム画像からのオブジェクト抽出処理用の弱識別器として、より優先して選択される。したがって、あるオブジェクトに対して、複数のフレーム画像において何度も用いられた弱識別器が存在した場合、当該オブジェクトは、当該弱識別器に対応する種類の特徴量を強く有しているといえる。言い換えると、より多く用いられた弱識別器に対応する種類の特徴量は、少数しか用いられていない弱識別器に対応する種類の特徴量より、オブジェクトの画像から抽出される特徴量としての信頼度は高いといえる。したがって、信頼度算出部202は、複数のフレーム画像に対してより高い頻度で用いられた弱識別器に対応する特徴量の信頼度を、この発明における特定被写体のオブジェクトから抽出された特徴量の信頼度としてより高く算出することができる。
図6は、正解画像および不正解画像の画像領域の一例を示す。フレーム画像600上の領域610は、フレーム画像600から抽出されたオブジェクトが存在する領域を示す。領域620は、抽出されたオブジェクトの周囲の領域を示す。領域610および領域620の領域の画像は、図4および図5に関連して説明したオブジェクト周辺画像に該当する。
教師画像422を生成する場合、更新特徴量算出部244は、領域610に対応する画像から、複数の正解画像を生成する。また、更新特徴量算出部244は、領域620に対応する画像から、複数の不正解画像を生成する。複数の正解画像および複数の不正解画像を用いた学習により、識別器をフレーム周辺画像に適応させることができる。
図7は、正解画像および不正解画像の画像領域の他の一例を示す。フレーム画像700−1、フレーム画像700−2、フレーム画像700−3は、この順で撮像された連続するフレーム画像であるとする。更新特徴量算出部244は、フレーム画像700−1上およびフレーム画像700−2上に、フレーム画像700−3からオブジェクトを抽出するための教師画像422を生成する。
フレーム画像700−2上の領域710bは、図6で説明した領域610に該当しており、領域710bから複数の正解画像が生成される。フレーム画像700−2上の領域720aは、図6で説明した領域620に該当しており、領域720aから複数の不正解画像が生成される。
フレーム画像700−1上の領域710aは、フレーム画像700−1から抽出されたオブジェクトの領域であり、更新特徴量算出部244における処理において、領域710aから複数の正解画像が生成される。なお、フレーム画像700−1上の領域710aから抽出されたオブジェクトと、フレーム画像700−2上の領域710bから抽出されたオブジェクトは、ともに同じ被写体のオブジェクトであるとする。
また、フレーム画像700−2上の領域720bは、フレーム画像700−2において他のオブジェクトが抽出された領域であり、更新特徴量算出部244における処理において、領域720bから複数の不正解画像が生成される。このように他のオブジェクトの領域から不正解画像を生成することにより、他のオブジェクトを特定のオブジェクトとして検出してしまう確率を低減することができる。
また、領域720cは、領域720aに存在しているオブジェクトが、次のフレーム画像700−3において存在すると予測される領域を示している。領域720cは、オブジェクト領域推定部250により、オブジェクトの動きに基づき推定される。更新特徴量算出部244における処理により、フレーム画像700−2上の領域720cから、複数の不正解画像が生成される。
フレーム画像700−2上の領域720cには、フレーム画像700−3における特定のオブジェクトの周囲に存在する被写体が撮像されている確率が高い。したがって、フレーム画像700−2上の領域720cを不正解画像とすることで、フレーム画像700−3から、追跡対象のオブジェクトの近傍に存在する他の被写体のオブジェクトを追跡対象のオブジェクトとして検出してしまう確率を低減することができる。
なお、オブジェクト抽出部230は、フレーム画像700−3の領域720cから、オブジェクトを抽出してもよい。つまり、オブジェクト抽出部230がオブジェクトを抽出する抽出対象の領域と、不正解画像を生成する対象の領域とは、画像領域上の同じ領域であってよい。なお、不正解画像を生成する対象の領域は、抽出対象の領域より小さくてもよい。
以上説明したように、画像解析装置110によると、オブジェクトの検出処理とオブジェクトの認識処理とを一括して行うことができる識別器を構築することができる。このため、これらの処理に要する演算量を著しく低減することができる。
なお、図4から図7などにおいては、画像解析装置110の機能および動作を、識別器あるいは弱識別器による処理を例に挙げて説明した。上述のように、特徴量抽出部210、適合度算出部220、特徴量記憶部280、およびオブジェクト抽出部230の機能および動作は、弱識別器の機能および動作とみなすことができる。そして、基準特徴量を適応および更新は、識別器の選択および適応とみなすことができる。したがって、画像解析装置110の各構成要素が、基準特徴量に関して以下のように動作することで、図4から図7などにおいて識別器に関連して具体的に説明した機能と等価な機能を実現することができる。
これにより、画像解析装置110は、動画から特定のオブジェクトを抽出することができる。オブジェクトの抽出とは、オブジェクト毎に位置を特定することにより追跡することを含む。特徴量記憶部280は、種類が異なる複数の基準特徴量を記憶している。特徴量抽出部210は、動画に含まれる複数のフレーム画像のそれぞれから、種類が異なる複数の特徴量を抽出する。オブジェクト抽出部230は、特徴量記憶部280が記憶している複数の基準特徴量に対する抽出された複数の特徴量の適合度に基づき、フレーム画像からオブジェクトを抽出する。
基準特徴量算出部240は、特徴量記憶部280が記憶している基準特徴量より、抽出されたオブジェクトの特徴量に種類に応じて予め定められた強度で適応させた複数の基準特徴量を算出する。そして、特徴量更新部270は、特徴量記憶部280が記憶している複数の基準特徴量を、基準特徴量算出部240が算出した基準特徴量で更新する。
なお、基準特徴量算出部240は、適合度がより大きい種類ほど、抽出されたオブジェクトの特徴量により大きい強度で適応させた複数の基準特徴量を算出してよい。また、基準特徴量算出部240は、抽出されたオブジェクトの特徴量に、種類に応じた頻度で適応させた複数の基準特徴量を算出してよい。
特徴量記憶部280は、異なる解像度の画像から抽出された複数の特徴量に対応する複数の基準特徴量を記憶している。そして、特徴量抽出部210は、異なる解像度の画像から複数の特徴量を抽出する。基準特徴量算出部240は、抽出されたオブジェクトの特徴量に、解像度に応じた強度で適応させた複数の基準特徴量を算出する。基準特徴量算出部240は、抽出されたオブジェクトの特徴量に、解像度が大きいほどより大きい強度で適応させた複数の基準特徴量を算出してよい。なお、基準特徴量算出部240は、抽出されたオブジェクトの特徴量に適応させた、予め定められた値より大きい解像度に対応する複数の基準特徴量を算出してよい。
基準特徴量算出部240の動作について、更新特徴量選択部242は、非更新特徴量選択部246が選択した基準特徴量の種類以外の種類のうち、適合度がより大きい種類をより優先して選択する。更新特徴量算出部244は、更新特徴量選択部242が選択した種類について、抽出されたオブジェクトの特徴量に適応させた1以上の基準特徴量を算出する。更新特徴量算出部244は、適応させた複数の基準特徴量のうち、抽出されたオブジェクトの特徴量への適応度がより大きい基準特徴量を、適応させた基準特徴量としてより優先して選択する。なお、適応度としては、学習処理における学習誤差を例示することができる。
なお、オブジェクト抽出部230は、更新され得る予め定められたP種類の基準特徴量を少なくとも用いて、オブジェクトを抽出してよい。そして、更新特徴量算出部244は、適応度がより大きいN種類の基準特徴量を、適応させた基準特徴量としてより優先して選択してよい。そして、非更新特徴量選択部246は、オブジェクト抽出部230がフレーム画像からオブジェクトを抽出する場合に用いた、適合度が予め定められた値以上である(P−N)種類の基準特徴量を、適応させた基準特徴量とする。この場合に、適応度の順に選択したN種類の特徴量を、基準特徴量としてよい。
そして、更新特徴量選択部242は、適合度がより大きい、Nより多いM種類の特徴量の種類を選択する。このとき、適合度が高い順にM種類の特徴量が選択されてよい。基準特徴量算出部240は、更新特徴量選択部242が選択したM種類について、抽出されたオブジェクトの特徴量に適応させた基準特徴量を算出する。そして基準特徴量算出部240は、算出したM種類の基準特徴量のうち、適応度がより大きいN種類の基準特徴量を、適応させた基準特徴量としてより優先して選択してよい。
なお、非更新特徴量選択部246は、オブジェクト抽出部230がフレーム画像からオブジェクトを抽出する場合に用いた、所定の条件に適合する1以上の種類の基準特徴量を、適応させた基準特徴量としてよい。つまり、所定の条件に適合する1以上の種類の基準特徴量は更新されずに、オブジェクト抽出部230により次のフレーム画像におけるオブジェクト抽出処理に用いられる。
更新しない特徴量を選択する場合には、非更新特徴量選択部246は、オブジェクト抽出部230がフレーム画像からオブジェクトを抽出する場合に用いた、適合度が予め定められた値以上である1以上の種類の基準特徴量を、適応させた基準特徴量としてよい。また、非更新特徴量選択部246は、教師画像422に基づき、適応させた基準特徴量を選択してよい。具体的には、非更新特徴量選択部246は、教師画像422に基づく学習により、正解画像に対して正解を判定することができる確率が予め定められた値より高い組み合わせの基準特徴量を選択してよい。また、非更新特徴量選択部246は、さらに、教師画像422に基づく学習により、不正解画像に対して不正解を判定することができる確率が予め定められた値より高い組み合わせの基準特徴量を選択してもよい。
特徴量を適応させる処理においては、基準特徴量算出部240は、抽出されたオブジェクトを含む領域の画像を正解画像として学習して得られた基準特徴量を、適応させた基準特徴量として算出してよい。また、基準特徴量算出部240は、抽出されたオブジェクト以外の領域を領域の画像を不正解画像として学習して得られた基準特徴量を、適応させた基準特徴量として算出してよい。
なお、基準特徴量算出部240は、フレーム画像における抽出された特定のオブジェクトを含む領域の画像を正解画像とすることにより、基準特徴量を算出してよい。基準特徴量算出部240は、フレーム画像の前のフレーム画像から抽出された特定のオブジェクトを含む領域の画像を正解画像とすることにより、基準特徴量を算出する。ここで、オブジェクト抽出部230は、特徴量抽出部210が次のフレーム画像から抽出した特徴量の、基準特徴量に対する適合度に基づき、次のフレーム画像から特定のオブジェクトを抽出してよい。
基準特徴量算出部240は、フレーム画像における抽出された特定のオブジェクトを含まない領域の画像を不正解画像とすることにより、基準特徴量を算出してよい。また、基準特徴量算出部240は、フレーム画像において抽出された特定のオブジェクトから予め定められた距離離れた領域の画像を不正解画像とすることにより、基準特徴量を算出してよい。また、基準特徴量算出部240は、フレーム画像から抽出された他のオブジェクトを含む領域の画像を不正解画像とすることにより、基準特徴量を算出してよい。
オブジェクト領域推定部250は、動画から抽出された特定のオブジェクトの移動量に基づき、他のフレーム画像において特定のオブジェクトが存在すべき領域を推定する。基準特徴量算出部240は、他のフレーム画像におけるオブジェクト領域推定部250が推定した領域を含む画像を不正解画像とすることにより、基準特徴量を算出してよい。
なお、適合度算出部220は、基準特徴量に対する特徴量抽出部210が抽出した特徴量の適合度を、種類毎に算出する。そして、オブジェクト抽出部230は、種類毎に算出された適合度に基づき、複数のフレーム画像のそれぞれからオブジェクトを抽出する。この場合に、オブジェクト抽出部230は、予め定められた適合度より大きい適合度が算出された特徴量の数が予め定められた値より多い場合に、特定のオブジェクトとして抽出してよい。他にも、オブジェクト抽出部230は、適合度を所定の重みづけで重みづけした合計値が予め定められた値より大きい場合に、特定のオブジェクトとして抽出してもよい。
なお、特徴量記憶部280は、被写体の向きに対応づけて複数の基準特徴量を記憶している。特徴量抽出部210が動画に含まれる複数のフレーム画像のそれぞれから複数の特徴量を抽出する。オブジェクト抽出部230は、被写体の向きに対応づけて記憶された複数の基準特徴量に対する抽出された複数の特徴量の適合度に基づき、フレーム画像から特定被写体のオブジェクトを抽出する。
向き特定部260は、特定被写体の向きを特定する。このとき、基準特徴量に対する適合度に基づき、向きを特定してよい。例えば、向き特定部260は、特徴量記憶部280が記憶している複数の特徴量のうち、予め定められた値より大きい適合度が算出された基準特徴量に対応づけて特徴量記憶部280が記憶している被写体の向きを特定被写体の向きとして特定してよい。
このように、向き特定部260は、予め定められた解像度より小さい解像度の画像から特徴量抽出部210が抽出した特徴量を、同解像度の基準特徴量とそれぞれ比較することにより、被写体の向きのそれぞれについて適合度を算出してよい。そして、向き特定部260は、より大きい適合度が算出された基準特徴量に対応づけられた被写体の向きを、特定被写体の向きとして特定してよい。
そして、基準特徴量算出部240は、特徴量記憶部280が記憶している基準特徴量より、抽出されたオブジェクトに適応させた基準特徴量を算出する。特徴量更新部270は、特徴量記憶部280が特定された向きに対応づけて記憶している基準特徴量を、基準特徴量算出部240が算出した基準特徴量で更新してよい。これにより、被写体の向きに応じた適切な組み合わせの基準特徴量を、学習により強化していくことができる。
図8は、画像解析装置110により構築された識別器の構成の一例を示す。図1から図7に関連して上述したように、特定のオブジェクトを識別するのに適した識別器がオンライン学習により構築されていく。特徴量記憶部280による処理により、このような識別器をオブジェクトの種類毎に、例えば人物毎に記憶することができる。
具体的には、本図を参照して、被写体ID#1で特定されるオブジェクトを検出する検出処理用に構築された識別器804−1は、正面顔検出用の識別器802a、右顔検出用の識別器802b、および左顔検出用の識別器802cにより形成される。他の被写体の識別器もオンライン学習することで、被写体ID#2で特定されるオブジェクトを検出する検出処理用の識別器804−2、被写体ID#2で特定されるオブジェクトを検出する検出処理用の識別器804−3もまた構築される。これらの識別器804に含まれる弱識別器は、検出された特徴量の信頼度が高いことを条件として強化学習されている。
図9は、被写体情報格納部330が格納しているデータの一例をテーブル形式で示す。被写体情報格納部330は、被写体種別に対応づけて特徴量とフィルタIDを格納している。フィルタIDは、特徴量を算出する画像フィルタ、例えば上記した弱識別器として組み込まれる画像フィルタを識別する情報であってよい。つまり、フィルタIDは、特徴量の種類を示していると言い換えることもできる。
被写体特定部340は、特定のオブジェクトから抽出された特徴量のうちフィルタIDで識別されるフィルタを用いて算出された特徴量が、被写体情報格納部330が格納している特徴量に適合する場合に、当該特徴量が抽出されたオブジェクトは、当該フィルタIDおよび特徴量に対応づけて被写体情報格納部330が格納している種別の被写体のオブジェクトであると判断する。被写体の種別としては、性別、年齢、表情および興味度などの人物属性などを例示することができる。また、被写体の種別として、個々の人物を例示することもできる。
以下に、被写体特定部340による被写体種別の特定処理について説明する。オブジェクトの種別を特定する特定対象のオブジェクトとしては、オブジェクト抽出部230が抽出したオブジェクトと、新たに入力された画像中のオブジェクトとが考えられる。前者の場合、構築された識別器用の基準特徴量との比較によりオブジェクトの種別を特定する。後者の場合、新たに入力された画像から特徴量抽出部320が抽出した特徴量との比較により、オブジェクトの種別を特定する。
まず、前者の場合について以下に説明する。図8に関連して説明したように、画像解析装置110によって被写体毎に識別器が構築されている。これらの識別器用の基準特徴量は、被写体のオブジェクトから抽出され得る代表的な特徴量とみなすことができる。
被写体特定部340は、構築された識別器用の基準特徴量と、被写体情報格納部330が格納している特徴量とをフィルタ毎に比較して、その適合度を算出する。被写体特定部340は、算出した適合度が予め定められた値よりも大きい場合に、オブジェクト抽出部230により抽出されたオブジェクトは、被写体情報格納部330が格納している種別の被写体のオブジェクトであると判断する。これにより、画像解析装置110は、追跡したオブジェクトが、いずれの人物属性のオブジェクトであるか、またはいずれの人物のオブジェクトであるかを、特徴量の比較により高速に特定することができる。
次に、後者の場合について以下に説明する。特徴量抽出部320は、解析対象画像取得部310が取得した画像から、特徴量を抽出する。例えば、特徴量抽出部320は、フィルタIDで識別される画像フィルタにより、特徴量を抽出してよい。被写体特定部340は、特徴量抽出部320が抽出した特徴量と、被写体情報格納部330が格納している特徴量とをフィルタ毎に比較して、その適合度を算出する。被写体特定部340は、算出した適合度が予め定められた値よりも大きい場合に、解析対象画像取得部310が取得した画像中のオブジェクトは、被写体情報格納部330が格納している種別の被写体のオブジェクトであると判断する。これにより、画像解析装置110は、新たに入力された画像に含まれるオブジェクトが、いずれの人物属性のオブジェクトであるか、またはいずれの人物のオブジェクトであるかを、特徴量の比較により高速に特定することができる。
なお、被写体情報格納部330は、構築された識別器用の基準特徴量を、人物毎(例えば、本図の人物A、Bなど)の特徴量として記憶してよい。被写体情報格納部330は、既に記憶している特徴量と当該基準特徴量との間の一致度が、予め定められた値より大きい場合に、既に記憶している特徴量を当該基準特徴量で更新してもよい。これにより、被写体情報格納部330は、異なるタイミングで撮像された被写体のオブジェクトから、オブジェクト認識用に有効な特徴量を蓄積していくことができる。
このように、画像解析装置110によると、人物属性、個々の人物などの被写体種別を、特徴量の比較により高速に特定することができる。このため、被写体種別を特定するための演算量を低減することができ、ひいては高速に被写体種別を特定することができる。このため、顧客の人物属性を特定することで、特定の商品を購入した顧客層を画像から特定することができる。
以上図1から図9に関連して説明したように、画像処理システム10によると、顧客を正確に追跡することができるので、顧客情報を正確に分析したり、当該顧客が興味を持った商品を正確に分析したりすることができる。このように、画像処理システム10は、店舗用の画像処理システムとして機能することができる。
その他、画像処理システム10は多様な用途に適用することができる。例えば、画像処理システム10によると、顧客が興味を持った商品の情報に基づき広告コンテンツを顧客に提供することもでき、この場合、画像処理システム10はサイネージシステムとして機能することができる。また、画像処理システム10は、不審者が注目したものを特定する監視システムあるいは防犯システムとして機能することもできる。また、画像処理システム10は、被写体を認証する認証システムとして機能することができる。
また、画像解析装置110は、異なる店舗空間160の動画を取得して、解析してもよい。これにより、顧客の動向などを店舗間で比較することができる。また、上記においては店舗用のシステムとして画像処理システム10の機能および動作を説明したが、画像処理システム10の用途としては、店舗用以外にも種々の用途に利用することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 画像処理システム
90 記憶媒体
100 撮像装置
110 画像解析装置
112 解析結果データベース
150 通信ネットワーク
160 店舗空間
162 商品棚
164 人物
170 店舗サーバ
180 端末装置
200 画像取得部
202 信頼度算出部
204 被写体解析部
210 特徴量抽出部
220 適合度算出部
230 オブジェクト抽出部
240 基準特徴量算出部
242 更新特徴量選択部
244 更新特徴量算出部
246 非更新特徴量選択部
250 オブジェクト領域推定部
260 向き特定部
270 特徴量更新部
280 特徴量記憶部
290 出力部
292 解析結果出力部
310 解析対象画像取得部
320 特徴量抽出部
330 被写体情報格納部
340 被写体特定部
400 弱識別器
402 識別器
404 識別器セット
410、420、430、440、450、470、480、510、530、550、560 処理
412 オブジェクト周辺画像
422 教師画像
442 識別結果
460 弱識別器
462 識別器
464 識別器セット
472 推定領域画像
500、520、552、562 弱識別器
502 識別器
600、700 フレーム画像
610、620、710、720 領域
802、804 識別器
90 記憶媒体
100 撮像装置
110 画像解析装置
112 解析結果データベース
150 通信ネットワーク
160 店舗空間
162 商品棚
164 人物
170 店舗サーバ
180 端末装置
200 画像取得部
202 信頼度算出部
204 被写体解析部
210 特徴量抽出部
220 適合度算出部
230 オブジェクト抽出部
240 基準特徴量算出部
242 更新特徴量選択部
244 更新特徴量算出部
246 非更新特徴量選択部
250 オブジェクト領域推定部
260 向き特定部
270 特徴量更新部
280 特徴量記憶部
290 出力部
292 解析結果出力部
310 解析対象画像取得部
320 特徴量抽出部
330 被写体情報格納部
340 被写体特定部
400 弱識別器
402 識別器
404 識別器セット
410、420、430、440、450、470、480、510、530、550、560 処理
412 オブジェクト周辺画像
422 教師画像
442 識別結果
460 弱識別器
462 識別器
464 識別器セット
472 推定領域画像
500、520、552、562 弱識別器
502 識別器
600、700 フレーム画像
610、620、710、720 領域
802、804 識別器
Claims (14)
- 動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出部と、
抽出された前記複数の特徴量の信頼度を算出する信頼度算出部と、
前記特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶部と
を備える画像解析装置。 - 前記信頼度算出部は、当該特定被写体のオブジェクトから抽出されるべき予め定められた複数の基準特徴量に対する前記抽出された特徴量の適合度が高い場合に、より大きい信頼度を算出する
請求項1に記載の画像解析装置。 - 前記信頼度算出部は、抽出された前記特徴量が、画質がより高い前記特定被写体の画像から抽出された場合に、より大きい信頼度を算出する
請求項1または2に記載の画像解析装置。 - 前記信頼度算出部は、抽出された前記特徴量が、解像度がより高い前記特定被写体の画像から抽出された場合に、より大きい信頼度を算出する
請求項3に記載の画像解析装置。 - 前記信頼度算出部は、抽出された前記特徴量が、階調幅がより広い前記特定被写体の画像から抽出された場合に、より大きい信頼度を算出する
請求項3に記載の画像解析装置。 - 前記特徴量記憶部は、抽出された前記複数の特徴量のうち、予め定めれた値より大きい信頼度で抽出された前記特徴量を記憶する
請求項1乃至5のいずれかに記載の画像解析装置。 - 前記特徴量記憶部は、複数の動画構成画像から抽出された同一種類の複数の前記特徴量のうち、より大きい信頼度で抽出された特徴量をより優先して記憶する
請求項1乃至6のいずれかに記載の画像解析装置。 - 前記特徴量記憶部は、一の動画構成画像から抽出された複数種類の前記特徴量のうち、より大きい信頼度で抽出された種類の特徴量をより優先して記憶する
請求項1乃至6のいずれかに記載の画像解析装置。 - 前記特徴量記憶部は、信頼度にさらに対応づけて前記特徴量を記憶しており、
前記画像解析装置は、
前記特徴量記憶部が記憶している前記信頼度より大きい信頼度の特徴量が他の動画構成画像から抽出された場合に、前記特徴量記憶部が記憶している特徴量を、当該他の動画構成画像から抽出された特徴量で更新する特徴量更新部
をさらに備える請求項1乃至8のいずれかに記載の画像解析装置。 - 所定の特徴量に適合する特徴量が画像から抽出されるべき被写体の種別を示す種別情報を、所定の特徴量に対応づけて格納する被写体情報格納部と、
前記特徴量記憶部が記憶している特徴量に適合する特徴量に対応づけて前記被写体情報格納部が格納している前記種別情報が示す被写体の種別を、前記特徴量記憶部が記憶している特徴量が抽出された被写体の種別として判断する被写体特定部と
をさらに備える請求項1乃至9のいずれかに記載の画像解析装置。 - 前記被写体情報格納部は、複数の特徴量の組み合わせに対応づけて、当該複数の特徴量にそれぞれ適合する複数の特徴量が抽出されるべき被写体の種別を示す前記種別情報を格納し、
前記被写体特定部は、前記特徴量記憶部が記憶している複数の特徴量にそれぞれ適合する複数の特徴量に対応づけて前記被写体情報格納部が格納している前記種別情報が示す被写体の種別を、前記特徴量記憶部が記憶している複数の特徴量が抽出された被写体の種別として判断する
請求項10に記載の画像解析装置。 - 検索する被写体像から抽出されるべき特徴量を取得する検索被写体情報取得部と、
前記検索被写体情報取得部が取得した特徴量に適合する特徴量を、前記特徴量記憶部が記憶している特徴量の中から特定する特徴量抽出部と、
前記特徴量抽出部が抽出した特徴量が抽出された被写体を識別する情報を出力する出力部と
をさらに備える請求項1乃至11のいずれかに記載の画像解析装置。 - 動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出段階と、
抽出された前記複数の特徴量の信頼度を算出する信頼度算出段階と、
前記特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶段階と
を備える画像解析方法。 - 画像解析装置のプログラムであって、コンピュータを、
動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出部、
抽出された前記複数の特徴量の信頼度を算出する信頼度算出部、
前記特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶部
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009074825A JP2010231254A (ja) | 2009-03-25 | 2009-03-25 | 画像解析装置、画像解析方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009074825A JP2010231254A (ja) | 2009-03-25 | 2009-03-25 | 画像解析装置、画像解析方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010231254A true JP2010231254A (ja) | 2010-10-14 |
Family
ID=43047046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009074825A Withdrawn JP2010231254A (ja) | 2009-03-25 | 2009-03-25 | 画像解析装置、画像解析方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010231254A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012053311A1 (ja) * | 2010-10-22 | 2012-04-26 | Necソフト株式会社 | 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム |
WO2013099368A1 (ja) * | 2011-12-28 | 2013-07-04 | Necソフト株式会社 | 画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム |
JP2013156769A (ja) * | 2012-01-27 | 2013-08-15 | Toyota Central R&D Labs Inc | 運動推定装置及びプログラム |
WO2017126072A1 (ja) * | 2016-01-21 | 2017-07-27 | 株式会社日立製作所 | 画像認識システム、カメラ状態推定装置及び記憶媒体 |
KR101768372B1 (ko) * | 2016-04-22 | 2017-08-17 | 전자부품연구원 | 객체 간의 상대 움직임 정보를 이용한 영상 기반 계층적 다중 객체 추적 방법 및 시스템 |
KR20180070258A (ko) * | 2016-12-16 | 2018-06-26 | 기아자동차주식회사 | 주행상황에서의 동시적 물체 인식 및 학습 방법 |
JP2019527865A (ja) * | 2016-05-09 | 2019-10-03 | グラバンゴ コーポレイション | 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法 |
JP2021165914A (ja) * | 2020-04-06 | 2021-10-14 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
JP2021528767A (ja) * | 2018-11-21 | 2021-10-21 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 視覚的検索方法、装置、コンピュータ機器及び記憶媒体 |
-
2009
- 2009-03-25 JP JP2009074825A patent/JP2010231254A/ja not_active Withdrawn
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012053311A1 (ja) * | 2010-10-22 | 2012-04-26 | Necソフト株式会社 | 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム |
JPWO2012053311A1 (ja) * | 2010-10-22 | 2014-02-24 | Necソフト株式会社 | 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム |
JP5569990B2 (ja) * | 2010-10-22 | 2014-08-13 | Necソリューションイノベータ株式会社 | 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム |
US9053356B2 (en) | 2010-10-22 | 2015-06-09 | Nec Solution Innovators, Ltd. | Attribute determining method, attribute determining apparatus, program, recording medium, and attribute determining system |
WO2013099368A1 (ja) * | 2011-12-28 | 2013-07-04 | Necソフト株式会社 | 画像認識装置、画像認識方法、プログラム、記録媒体および画像認識システム |
JP2013156769A (ja) * | 2012-01-27 | 2013-08-15 | Toyota Central R&D Labs Inc | 運動推定装置及びプログラム |
JPWO2017126072A1 (ja) * | 2016-01-21 | 2018-01-25 | 株式会社日立製作所 | 画像認識システム、カメラ状態推定装置及び記憶媒体 |
WO2017126072A1 (ja) * | 2016-01-21 | 2017-07-27 | 株式会社日立製作所 | 画像認識システム、カメラ状態推定装置及び記憶媒体 |
KR101768372B1 (ko) * | 2016-04-22 | 2017-08-17 | 전자부품연구원 | 객체 간의 상대 움직임 정보를 이용한 영상 기반 계층적 다중 객체 추적 방법 및 시스템 |
JP2019527865A (ja) * | 2016-05-09 | 2019-10-03 | グラバンゴ コーポレイション | 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法 |
JP7009389B2 (ja) | 2016-05-09 | 2022-01-25 | グラバンゴ コーポレイション | 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法 |
KR20180070258A (ko) * | 2016-12-16 | 2018-06-26 | 기아자동차주식회사 | 주행상황에서의 동시적 물체 인식 및 학습 방법 |
KR102540393B1 (ko) | 2016-12-16 | 2023-06-07 | 현대자동차주식회사 | 주행상황에서의 동시적 물체 인식 및 학습 방법 |
JP2021528767A (ja) * | 2018-11-21 | 2021-10-21 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 視覚的検索方法、装置、コンピュータ機器及び記憶媒体 |
US11348254B2 (en) | 2018-11-21 | 2022-05-31 | Baidu Online Network Technology (Beijing) Co., Ltd. | Visual search method, computer device, and storage medium |
JP7204786B2 (ja) | 2018-11-21 | 2023-01-16 | バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド | 視覚的検索方法、装置、コンピュータ機器及び記憶媒体 |
JP2021165914A (ja) * | 2020-04-06 | 2021-10-14 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
JP7359735B2 (ja) | 2020-04-06 | 2023-10-11 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5261312B2 (ja) | 画像解析装置、画像解析方法およびプログラム | |
JP2010231254A (ja) | 画像解析装置、画像解析方法およびプログラム | |
US11853347B2 (en) | Product auditing in point-of-sale images | |
US20190303667A1 (en) | Method of searching data to identify images of an object captured by a camera system | |
Jiang et al. | Multi-layered gesture recognition with Kinect. | |
WO2018121690A1 (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
CN108229456B (zh) | 目标跟踪方法和装置、电子设备、计算机存储介质 | |
US8358837B2 (en) | Apparatus and methods for detecting adult videos | |
US8478048B2 (en) | Optimization of human activity determination from video | |
EP2905724A2 (en) | Object detection system and method | |
Du et al. | Online deformable object tracking based on structure-aware hyper-graph | |
JP2011059898A (ja) | 画像解析装置、画像解析方法およびプログラム | |
US11783384B2 (en) | Computer vision systems and methods for automatically detecting, classifying, and pricing objects captured in images or videos | |
EP2672396A1 (en) | Method for annotating images | |
CN109977824B (zh) | 物品取放识别方法、装置及设备 | |
TWI776176B (zh) | 手部作業動作評分裝置、方法及電腦可讀取存儲介質 | |
CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
CN113706481A (zh) | 精子质量检测方法、装置、计算机设备和存储介质 | |
JP2011059897A (ja) | 画像解析装置、画像解析方法およびプログラム | |
US20230131717A1 (en) | Search processing device, search processing method, and computer program product | |
US11983242B2 (en) | Learning data generation device, learning data generation method, and learning data generation program | |
CN116959099A (zh) | 一种基于时空图卷积神经网络的异常行为识别方法 | |
EP4399689A1 (en) | Object detection systems and methods including an object detection model using a tailored training dataset | |
Lin et al. | Multi-target video-based face recognition and gesture recognition based on enhanced detection and multi-trajectory incremental learning | |
US20230377188A1 (en) | Group specification apparatus, group specification method, and computer-readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120605 |