JP2023082590A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 追尾目標の追尾精度を従来よりも向上させるための技術を提供すること。【解決手段】 撮像画像中の追尾対象を追尾する追尾処理を追尾モデルを用いて行う。第１オブジェクトを追尾対象として追尾中に該第１オブジェクトが第２オブジェクトに遮蔽されたことが検知された場合には、追尾モデルを、該第２オブジェクトを追尾対象として追尾する第１モデルに切り替える。一方、該遮蔽が解除されたことが検知された場合には、追尾モデルを、該第１オブジェクトを追尾対象として追尾する第２モデルに切り替える。【選択図】 図２

Description

本発明は、追尾技術に関するものである。

画像内の物体を追尾するための技術としては、輝度や色情報を利用するもの、テンプレートマッチングやＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ（ＤＮＮ）を利用するもの等が存在する。しかし、どの方法においても、追尾目標が他の物体に遮蔽された際の対応が重要となる。このような対応としては、追尾目標について複数の特徴点を設定することで、追尾目標が部分的に遮蔽されても追尾を可能としたり、追尾目標の動きベクトルを利用して移動位置を予測することで追尾を継続することが従来から行なわれている。

また、特許文献１では、追尾目標が遮蔽物によって遮蔽された場合に、遮蔽物を仮の追尾対象と認識して追尾を続行し、追尾目標が再出現した際には、追尾対象を追尾目標に戻すことによって、追尾目標の追尾を継続することを可能とする技術が開示されている。

特許4769943号

特許文献１に開示されている方法では、遮蔽物を仮の追尾対象として追尾するために、追尾モデルが追尾目標を検出するための閾値を下げている。しかし特許文献１の方法では、遮蔽物を仮の追尾対象として追尾している際に該遮蔽物と見た目が類似している別の物体が画像中に登場した場合、仮の追尾対象が該別の物体に移ってしまう可能性があり、その後の追尾目標の追尾が正常に動作しない可能性がある。本発明では、追尾目標の追尾精度を従来よりも向上させるための技術を提供する。

本発明の一様態は、撮像画像中の追尾対象を追尾する追尾処理を追尾モデルを用いて行う追尾手段と、前記追尾手段が第１オブジェクトを追尾対象として追尾中に該第１オブジェクトが第２オブジェクトに遮蔽されたことが検知された場合には、前記追尾モデルを、該第２オブジェクトを追尾対象として追尾する第１モデルに切り替え、該遮蔽が解除されたことが検知された場合には、前記追尾モデルを、該第１オブジェクトを追尾対象として追尾する第２モデルに切り替える切替手段とを備えることを特徴とする。

本発明の構成によれば、追尾目標の追尾精度を従来よりも向上させることができる。

画像処理装置のハードウエア構成例を示すブロック図。 システムの機能構成例を示すブロック図。 追尾目標の設定処理のフローチャート。 追尾処理のフローチャート。 システムの機能構成例を示すブロック図。 追尾処理のフローチャート。 （ａ）は遮蔽物領域マップの一例を示す図、（ｂ）は被遮蔽物領域マップの一例を示す図。 遮蔽の発生の検出例を示す図。 遮蔽の解除の検出例を示す図。 ステップＳ３０３の処理を説明する図。 システムの機能構成例を示すブロック図。 追尾処理のフローチャート。 追尾対象の切り替えを判定する方法の例を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、撮像画像中の追尾対象を追尾する追尾処理を追尾モデルを用いて行う画像処理装置について説明する。本実施形態に係る画像処理装置は、第１オブジェクトを追尾対象として追尾中に該第１オブジェクトが第２オブジェクトに遮蔽されたことが検知された場合には、該追尾モデルを、該第２オブジェクトを追尾対象として追尾する第１モデルに切り替える。また本実施形態に係る画像処理装置は、該遮蔽が解除されたことが検知された場合には、該追尾モデルを、該第１オブジェクトを追尾対象として追尾する第２モデルに切り替える。

ここで、「追尾対象」とは、追尾する目標のオブジェクトとして予め指定されたオブジェクト（追尾目標）、該追尾目標を遮蔽したと判定されたオブジェクト（遮蔽物）、のうち、追尾する対象として後述する処理により決定されたオブジェクトである。

まず、このような本実施形態に係る画像処理装置のハードウエア構成例について、図１のブロック図を用いて説明する。なお、図１に示した構成は一例であり、適宜変形／変更が可能である。

ＣＰＵ１０１は、メモリ１０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１０１は、画像処理装置全体の動作制御を行うと共に、画像処理装置が行うものとして説明する各種の処理を実行もしくは制御する。

メモリ１０２は、記憶部１０４からロードされたコンピュータプログラムやデータを格納するためのエリア、通信部１０８を介して外部から受信したデータを格納するためのエリア、を有する。さらにメモリ１０２は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにメモリ１０２は、各種のエリアを適宜提供することができる。

入力部１０３は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ１０１に対して入力することができる。

記憶部１０４は、ハードディスクドライブ装置などの不揮発性メモリ装置である。記憶部１０４には、ＯＳ（オペレーティングシステム）、画像処理装置が行うものとして説明する各種の処理をＣＰＵ１０１に実行もしくは制御させるためのコンピュータプログラムやデータ、等が保存されている。記憶部１０４に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜メモリ１０２にロードされ、ＣＰＵ１０１による処理対象となる。

表示部１０５は、液晶画面やタッチパネル画面を有する表示装置であり、ＣＰＵ１０１による処理結果を画像や文字などでもって表示することができる。なお、表示部１０５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

通信部１０６は、ＬＡＮやインターネットなどの有線および／または無線のネットワークを介して外部装置との間のデータ通信を行うための通信インターフェースである。ＣＰＵ１０１、メモリ１０２、入力部１０３、記憶部１０４、表示部１０５、通信部１０６は何れもシステムバス１０７に接続されている。

次に、このような画像処理装置を含む本実施形態に係るシステムの機能構成例について、図２のブロック図を用いて説明する。図２に示す如く、本実施形態に係るシステムでは、画像処理装置１００には撮像装置２００および情報保存部１７０が接続されており、画像処理装置１００は通信部１０６を介して撮像装置２００および情報保存部１７０とのデータ通信を行う。

まず、撮像装置２００について説明する。撮像装置２００は、ディジタルカメラや監視カメラなどの撮像装置である。撮像装置２００は、動画像を撮像し、該動画像における各フレームの画像を撮像画像として取得する装置であっても良いし、定期的若しくは不定期的に静止画像を撮像し、該静止画像を撮像画像として取得する装置であっても良い。撮像装置２００は、取得した撮像画像を画像処理装置１００に対して出力する。

次に、情報保存部１７０について説明する。情報保存部１７０は、ハードディスクドライブ装置などの不揮発性メモリ装置やサーバ装置など、「ＬＡＮやインターネットなどの有線および／または無線のネットワークを介して画像処理装置１００と通信可能な記憶装置」である。また情報保存部１７０は、ＵＳＢメモリ装置などの外付けのメモリ装置であっても良い。画像処理装置１００は、撮像画像における追尾対象を追尾するために必要な情報を適宜情報保存部１７０に保存する。なお、情報保存部１７０は必須では無く、情報保存部１７０の代わりに記憶部１０４を使用しても構わない。

次に、画像処理装置１００について説明する。画像処理装置１００は、撮像装置２００から出力された撮像画像を取得し、該取得した撮像画像中の追尾対象を追尾する。以下では画像処理装置１００における各機能部を処理の主体として説明する場合がある。しかし実際には、該機能部の機能をＣＰＵ１０１に実行させるためのコンピュータプログラムを該ＣＰＵ１０１が実行することで、該機能部の機能が実現される。

画像処理装置１００においてこのような追尾処理を行うためには、追尾する目標となるオブジェクト（追尾目標）を予め設定しておく必要がある。このような追尾目標の設定処理について、図３のフローチャートに従って説明する。

ステップＳ１０１では、取得部１１０は、撮像装置２００によって撮像された１枚の撮像画像を取得する。この１枚の撮像画像は、例えば、追尾処理の対象となる撮像画像群（静止画像群もしくは動画像における画像群）における先頭フレームの撮像画像である。なお、取得部１１０は、該撮像画像におけるオブジェクトの物体領域、該オブジェクトにおける一部の物体領域（顔などの部位の物体領域）、などの該撮像画像における部分領域内の画像を改めて撮像画像として取得しても良い。

ステップＳ１０２では、設定部１２０は、ステップＳ１０１において取得部１１０が取得した撮像画像に含まれているオブジェクトのうち１つを追尾目標として設定する設定処理を行う。追尾目標の設定処理には様々な設定処理があり、特定の設定処理に限らない。

例えば、設定部１２０は、ステップＳ１０１において取得部１１０が取得した撮像画像を表示部１０５に表示させて、ユーザからの追尾目標の物体領域の指定操作を受け付ける。ユーザは表示部１０５に表示された撮像画像を確認し、該撮像画像に含まれているオブジェクトのうち１つを追尾目標として設定するべく、該追尾目標の物体領域を指定する指定操作を行う。ユーザによる物体領域の指定方法については様々な指定方法があり、本実施形態では特定の指定方法に限定しない。例えば、表示部１０５がタッチパネル画面を有している場合には、ユーザは該タッチパネル画面上で追尾目標の物体領域を指定しても良い。また、ユーザは入力部１０３を操作して追尾目標の物体領域を指定しても良い。そして設定部１２０は、ユーザ操作に応じて指定された物体領域を追尾目標の物体領域として設定する。

なお、設定部１２０は、撮像画像から追尾目標となる被写体の物体領域を検出し、該検出した被写体の物体領域を追尾目標の物体領域として設定するようにしても良い。撮像画像中の主被写体を自動的に検出する方法としては、例えば、特許第６５５７０３３号に記載の方法が適用可能である。

また、設定部１２０は、撮像画像からオブジェクトの物体領域を検出する技術と、ユーザ操作と、を併用して、撮像画像における追尾目標の物体領域を設定するようにしても構わない。撮像画像からオブジェクトの物体領域を検出する技術としては、例えば、“Ｌｉｕ，ＳＳＤ：ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉｂｏｘＤｅｔｅｃｔｏｒ．Ｉｎ：ＥＣＣＶ２０１６”等が挙げられる。

ステップＳ１０３では、設定部１３０は、ステップＳ１０２で追尾目標の物体領域として設定された物体領域内の画像（追尾目標画像）を用いて、「追尾処理部１４０が追尾目標を追尾するために用いる追尾モデル（追尾目標モデル）」を構築する。追尾目標モデルには様々なモデルが適用可能であり、よって、追尾目標モデルの構築方法には様々な構築方法がある。

例えば、追尾目標モデルがＤＮＮなどのニューラルネットワークである場合、設定部１３０は、追尾目標画像を用いてニューラルネットワークの学習処理を行い、該学習処理により得られる学習済みのニューラルネットワークを追尾目標モデルとして取得する。

また例えば、追尾目標モデルがテンプレートマッチングを行う追尾モデルである場合には、設定部１３０は、追尾目標画像とのテンプレートマッチングを行う追尾モデルを追尾目標モデルとして取得する。

このようにして設定部１３０は、追尾処理部１４０の設定処理として、該追尾処理部１４０が追尾目標を追尾するために用いる追尾目標モデルを構築する処理を行う。設定部１３０は、このようにして構築した追尾目標モデル（該追尾目標モデルのパラメータなど）と、追尾目標画像と、を情報保存部１７０に格納する。

次に、上記の設定処理後に撮像装置２００から出力されるそれぞれの撮像画像において追尾対象を追尾するために画像処理装置１００が行う処理について、図４のフローチャートに従って説明する。

ステップＳ２００では、設定部１３０は、追尾処理部１４０が追尾対象を追尾するために用いる追尾モデルとして追尾目標モデルを設定する。より詳しくは、設定部１３０は、上記の設定処理で情報保存部１７０に格納された追尾目標モデルを読み出し、該読み出した追尾目標モデルを、追尾処理部１４０が追尾対象を追尾するために用いる追尾モデルとして設定する。そして、ステップＳ２０１～Ｓ２０５の処理が、撮像装置２００から出力されるそれぞれの撮像画像について行われる。

ステップＳ２０１では、取得部１１０は、撮像装置２００から出力された撮像画像を取得する。なお、上記のステップＳ１０１と同様に、撮像画像における部分領域内の画像を改めて撮像画像として取得しても良い。

ステップＳ２０２では、追尾処理部１４０は、ステップＳ２０１で取得部１１０が取得した撮像画像における追尾対象を追尾する追尾処理を、設定部１３０により設定されている追尾モデルを用いて実行する。

ステップＳ２００→ステップＳ２０１→ステップＳ２０２と処理が進んだ際におけるステップＳ２０２では、追尾処理部１４０は、撮像画像における追尾対象の追尾処理を、ステップＳ２００で設定部１３０により設定された追尾目標モデルを用いて実行する。これにより、撮像画像における追尾目標の追尾処理が行われる。

ステップＳ２０５→ステップＳ２０２と処理が進んだ際におけるステップＳ２０２では、追尾処理部１４０は、撮像画像における追尾対象の追尾処理を、ステップＳ２０５で設定部１３０により設定された追尾モデルを用いて実行する。これにより、撮像画像において、ステップＳ２０４で切り替えた追尾対象の追尾処理が行われる。

ステップＳ２０３→ステップＳ２０２と処理が進んだ際におけるステップＳ２０２では、追尾処理部１４０は、撮像画像における追尾対象の追尾処理を、現在設定されている追尾モデルを用いて実行する。

追尾処理部１４０は、前フレームの撮像画像中の追尾対象の物体領域を元に、追尾モデルを用いて、現フレームの撮像画像における追尾対象の物体領域の候補である複数の物体候補領域と、該物体候補領域の尤度（追尾対象らしさを示す尤度）と、を出力する。そして追尾処理部１４０は、該複数の物体候補領域から尤度が最も高い物体候補領域を追尾対象の物体領域として決定する。用いる追尾モデルとして追尾目標モデルが設定されている場合には、追尾処理部１４０は、現フレームの撮像画像における追尾目標の物体領域の候補である複数の物体候補領域と、該物体候補領域の尤度と、を出力する。そして追尾処理部１４０は、該複数の物体候補領域から尤度が最も高い物体候補領域を追尾目標の物体領域として決定する。この処理を行う技術の例としては、“Ｒｅａｌ－ＴｉｍｅＭＤＮｅｔ，ＥＣＣＶ２０１８”等が挙げられる。しかし、現フレームの撮像画像における追尾対象の物体領域の候補となる複数の物体候補領域と、該物体候補領域の尤度（追尾対象らしさを示す尤度）と、を算出することができるのであれば、他の技術を採用しても良い。

なお、上記の例では、追尾処理部１４０は、複数の物体候補領域から尤度が最も高い物体候補領域を追尾対象の物体領域として決定しているが、他の基準で追尾対象の物体領域を決定するようにしても良い。例えば、前フレームの撮像画像における追尾対象の物体領域の位置と、現フレームの撮像画像におけるそれぞれの物体候補領域の位置と、の間の距離を求める。そして、現フレームの撮像画像におけるそれぞれの物体候補領域のうち最も短い距離を求めた物体候補領域を追尾対象の物体領域として決定する。

追尾モデルがオンライン学習を行うニューラルネットワークである場合、追尾処理部１４０は現フレームの撮像画像における追尾対象の物体領域内の画像を用いて追尾モデルの再学習を行い、再学習した追尾モデルと該画像を情報保存部１７０に格納しても良い。また追尾処理部１４０は、追尾モデルがテンプレートマッチングを行う追尾モデルである場合、現フレームの撮像画像における追尾対象の物体領域内の画像を、追尾モデルがテンプレートマッチングで使用する画像として情報保存部１７０に格納しても良い。

追尾処理部１４０は、追尾モデルとして追尾目標モデルが設定されている場合には、現フレームの撮像画像において追尾目標の物体領域として決定された物体候補領域内の画像を情報保存部１７０に格納する格納処理を、定期的若しくは不定期的に実行する。

ステップＳ２０３では、遮蔽検知部１５０は、ステップＳ２０１で取得部１１０が取得した撮像画像において追尾目標が他のオブジェクト（遮蔽物）に遮蔽されたか否か、該遮蔽が解除されたか否か、を判定する。撮像画像において追尾目標が遮蔽物に遮蔽されたか否か、該遮蔽が解除されたか否か、を判定するための方法には様々な方法があり、本実施形態では特定の方法に限らない。

撮像画像において追尾目標が遮蔽物に遮蔽されたか否かの判定は、例えば、次のような判定処理で実施可能である。つまり、遮蔽検知部１５０は、「追尾処理部１４０が追尾目標の追尾処理において該追尾目標の物体領域であると判定した物体候補領域の尤度が閾値未満であり、且つ該物体候補領域と重複する他の物体候補領域が存在する」という条件が満たされた場合には、撮像画像において追尾目標が遮蔽物に遮蔽されたと判定する。一方、遮蔽検知部１５０は、この条件が満たされていない場合には、撮像画像において追尾目標は遮蔽物に遮蔽されていない、と判定する。

また、該遮蔽が解除されたか否かの判定は、例えば、次のような判定処理で実施可能である。遮蔽検知部１５０は、追尾処理部１４０が遮蔽物の追尾処理において該遮蔽物の物体領域と判定した物体候補領域と重複する他の物体候補領域が存在する場合、該他の物体候補領域内の画像と、情報保存部１７０に格納されている「追尾目標の物体領域として決定された物体候補領域内の画像」と、の類似度を求める。そして遮蔽検知部１５０は、該類似度が閾値以上であれば、該遮蔽は解除された（撮像画像中に追尾目標が再登場した）と判定する。

このような判定の結果、ステップＳ２０１で取得部１１０が取得した撮像画像において追尾目標が遮蔽物に遮蔽された若しくは該遮蔽が解除されたと判定した（遮蔽の発生を検知した若しくは遮蔽の解除を検知した）場合には、処理はステップＳ２０４に進む。一方、このような判定の結果、このような遮蔽の発生も解除も検知していない場合には、処理はステップＳ２０１に進み、次のフレームについて以降の各ステップにおける処理が行われる。

ステップＳ２０４では、切替部１６０は、追尾処理部１４０が追尾する追尾対象を切り替える（選択する）。ここで、ステップＳ２０４における切替部１６０の動作は、遮蔽検知部１５０が遮蔽の発生を検知した場合と、該遮蔽の解除を検知した場合と、で異なる。

遮蔽検知部１５０が遮蔽の発生を検知した場合、切替部１６０は、「追尾目標の物体領域であると決定された物体候補領域と最も重複する他の物体候補領域」を遮蔽物の物体領域と決定し、該遮蔽物を追尾対象として選択する。

一方、遮蔽検知部１５０が遮蔽の解除を検知した場合、切替部１６０は、「遮蔽物の物体領域であると決定された物体候補領域と最も重複する他の物体候補領域」を追尾目標の物体領域と決定し、該追尾目標を追尾対象として選択する。

ステップＳ２０５では、切替部１６０は、追尾処理部１４０が追尾対象を追尾するために用いる追尾モデルとして「ステップＳ２０４で選択した追尾対象を追尾するための追尾モデル」を設定するよう、設定部１３０に対して指示する。ここで、ステップＳ２０５における切替部１６０の動作は、遮蔽検知部１５０が遮蔽の発生を検知した場合と、該遮蔽の解除を検知した場合と、で異なる。

遮蔽検知部１５０が遮蔽の発生を検知した場合、切替部１６０は、追尾処理部１４０が追尾対象を追尾するために用いる追尾モデルとして「遮蔽物を追尾する追尾モデル（遮蔽物モデル）」を設定するよう、設定部１３０に指示する。設定部１３０は、該指示に応じて、追尾処理部１４０が追尾対象を追尾するために用いる追尾モデルとして遮蔽物モデルを設定し、該遮蔽物モデルを情報保存部１７０に格納する。設定部１３０は、遮蔽物モデルとしてテンプレートマッチングを行う追尾モデルを用いる場合には、遮蔽物の物体領域であるとして決定された物体候補領域内の画像を用いてテンプレートマッチングを行う追尾モデル（遮蔽物モデル）を構築する。一方、設定部１３０は、遮蔽物モデルとしてＤＮＮなどのニューラルネットワークを用いる場合には、遮蔽物の物体領域であるとして決定された物体候補領域内の画像（正事例）、遮蔽物の物体領域であるとして決定されなかった物体候補領域内の画像（負事例）、を用いて該ニューラルネットワークの学習処理（オンライン学習）を行うことで、学習済みのニューラルネットワークを遮蔽物モデルとして構築する。

つまり、遮蔽検知部１５０が遮蔽の発生を検知した場合、遮蔽物の物体領域として決定された物体候補領域内の画像を少なくとも用いて遮蔽物モデルを構築し、追尾処理部１４０が追尾対象の追尾に用いる追尾モデルを、該構築した遮蔽物モデルに切り替える。

一方、遮蔽検知部１５０が遮蔽の解除を検知した場合、切替部１６０は、追尾処理部１４０が追尾対象を追尾するために用いる追尾モデルとして追尾目標モデルを設定するよう、設定部１３０に指示する。設定部１３０は、該指示に応じて、追尾処理部１４０が追尾対象を追尾するために用いる追尾モデルとして、情報保存部１７０に格納しておいた追尾目標モデルを設定する。

つまり、本実施形態では、遮蔽検知部１５０が遮蔽の解除を検知した場合には、追尾処理部１４０が追尾対象を追尾するために用いる追尾モデルを、情報保存部１７０に格納しておいた追尾目標モデルに切り替える。

追尾処理部１４０は、新たな切替が発生しない限りは、初期に設定された追尾モデル（追尾目標モデル）もしくは最近の切替によって切り替えられた追尾モデルを用いて追尾対象の追尾処理を行う。

遮蔽物を仮の追尾対象として追尾する場合、該遮蔽物を正確に追尾していないと、該遮蔽物と見た目が類似している別のオブジェクトが画像中に登場した場合には、仮の追尾対象が該別のオブジェクトに移ってしまう可能性がある。その結果、その後の追尾目標の追尾が正常に動作しない可能性がある。

これに対し、本実施形態では、追尾目標が遮蔽物に遮蔽されていない場合は追尾目標モデルを用いることでより正確な追尾目標の追尾処理を実施し、追尾目標が遮蔽物に遮蔽されている場合は遮蔽物モデルを用いることでより正確な遮蔽物の追尾処理を実施する。これにより、追尾目標が遮蔽物に遮蔽されている最中に該遮蔽物と見た目が類似している別のオブジェクトが画像中に登場した場合でも、遮蔽物を正確に追尾し続けることができ、追尾目標が画像中に再登場しても、該追尾目標をより正確に追尾することができる。

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態では、撮像画像における遮蔽物の領域（遮蔽物領域）と、該遮蔽物によって遮蔽されるオブジェクト（被遮蔽物）の領域（被遮蔽物領域）と、に基づいて、追尾対象を決定する。

本実施形態に係るシステムの機能構成例について、図５のブロック図を用いて説明する。図５に示す如く本実施形態に係るシステムは、遮蔽検知部１５０が、遮蔽物領域および被遮蔽物領域を検出する検出部１５１と、遮蔽物領域および被遮蔽物領域に基づいて遮蔽の発生や解除を検知する遮蔽判定部１５２と、を有する点で第１の実施形態と異なる。

次に、上記の設定処理後に撮像装置２００から出力されるそれぞれの撮像画像において追尾対象を追尾するために画像処理装置１００が行う処理について、図６のフローチャートに従って説明する。なお、図６において図４に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ３０１では検出部１５１は、撮像画像の画素ごとに遮蔽物らしさを表す値（尤度）を保持しているマップ（遮蔽物領域マップ）と、撮像画像の画素ごとに被遮蔽物らしさを表す値（尤度）を保持しているマップ（被遮蔽物領域マップ）と、を出力する。

遮蔽物領域マップの一例を図７（ａ）に示す。また、被遮蔽物領域マップの一例を図７（ｂ）に示す。図７（ａ）には、２人の人物が含まれており、一方の人物の一部が他方の人物に遮蔽されている状態を示している。領域７０１は、遮蔽物としての人物の領域であり、例えば、遮蔽物らしさを表す値（尤度）が閾値以上の画素に対応する領域である。図７（ｂ）には、２人の人物が含まれており、一方の人物の一部が他方の人物に遮蔽されている状態を示している。領域７０２は、被遮蔽物としての人物の領域であり、例えば、被遮蔽物らしさを表す値（尤度）が閾値以上の画素に対応する領域である。

このような、撮像画像から遮蔽物領域マップや被遮蔽物領域マップを取得するための技術としては、“Olaf Ronneberger, Philipp Fischer, Thomas Brox, U-Net：Convolutional Networks for Biomedical Image Segmentation：MICCAI2015”を応用することが考えられる。この技術では、事前に特定のオブジェクトが写った画像を学習することによって、別の画像内に写った該オブジェクトの領域を出力することができる。したがって、この技術を用いて遮蔽物や被遮蔽物を学習することによって、図７に示したような遮蔽物領域マップや被遮蔽物領域マップを出力することができる。しかし、出力される領域は当図に示した例以外であっても良く、遮蔽物領域や被遮蔽物の位置を特定できるものであればどのようなものでもよい。

ステップＳ３０２で遮蔽判定部１５２は、検出部１５１が出力した遮蔽物領域マップや被遮蔽物領域マップに基づき、ステップＳ２０１で取得部１１０が取得した撮像画像において追尾目標が遮蔽物に遮蔽されたか否か、該遮蔽が解除されたか否か、を判定する。この判定の方法について、追尾対象が追尾目標である場合と、追尾対象が遮蔽物である場合と、に分け、それぞれの場合について、図８、図９を用いて説明する。

まず、追尾対象が追尾目標である場合におけるステップＳ３０２の処理について説明する。まず、遮蔽判定部１５２は、撮像画像において追尾対象の物体候補領域中の任意の部分領域（例えば、物体候補領域の中心位置付近の領域）を遮蔽判定領域として設定する。そして遮蔽判定部１５２は、被遮蔽物領域マップにおいて該遮蔽判定領域に対応する対応領域に、被遮蔽物領域が含まれているかを判定する。そして遮蔽判定部１５２は、このような判定の結果、対応領域に被遮蔽物領域が含まれている場合には、遮蔽は発生していると判定し、対応領域に被遮蔽物領域が含まれていない場合には、遮蔽は発生していないと判定する。なお、遮蔽判定部１５２は、対応領域内における被遮蔽物領域の割合が閾値以上であれば、遮蔽が発生していると判定し、該割合が閾値未満であれば、遮蔽は発生していないと判定するようにしても良い。

図８（ａ）の例では、被遮蔽物領域マップにおいて追尾対象の物体候補領域に対応する対応領域８０１に、遮蔽判定領域に対応する対応領域８０２が位置しており、対応領域８０２には被遮蔽物領域８０３が含まれている。そのため、このような場合は、遮蔽判定部１５２は、遮蔽が発生していると判定する。

図８（ｂ）の例では、被遮蔽物領域マップにおいて追尾対象の物体候補領域に対応する対応領域８０４に、遮蔽判定領域に対応する対応領域８０５が位置しており、対応領域８０５には被遮蔽物領域８０６は含まれていない。そのため、このような場合は、遮蔽判定部１５２は、遮蔽は発生していないと判定する。

次に、追尾対象が遮蔽物である場合におけるステップＳ３０２の処理について説明する。まず、遮蔽判定部１５２は、上記と同様にして、撮像画像において追尾対象の物体候補領域中の任意の部分領域（例えば、物体候補領域の中心位置付近の領域）を遮蔽判定領域として設定する。そして遮蔽判定部１５２は、「遮蔽物領域マップにおいて該遮蔽判定領域に対応する対応領域に遮蔽物領域が含まれており、且つ被遮蔽物領域マップにおいて、追尾対象の物体候補領域と重複する他の物体候補領域に被遮蔽判定領域が含まれている」という条件が満たされているか否かを判定する。そして遮蔽判定部１５２は、このような判定の結果、このような条件が満たされている場合には、遮蔽は解除していると判定し、このような条件が満たされていない場合には、遮蔽は解除されていないと判定する。

図９（ａ）の例では、遮蔽物領域マップにおいて追尾対象の物体候補領域に対応する対応領域９０１に、遮蔽判定領域に対応する対応領域９０２が位置している。そして、対応領域９０２には遮蔽物領域９０３が含まれており、且つ図９（ｂ）に示す如く遮蔽物領域マップにおいて対応領域９０１と重複する他の物体候補領域９０４に被遮蔽判定領域９０５が含まれている、という条件が満たされている。そのため、このような場合は、遮蔽判定部１５２は、遮蔽は解除していると判定する。

なお、遮蔽物領域マップにおいて追尾対象の物体候補領域に対応する対応領域と重複する他の物体候補領域が複数存在する場合は、そのうち１つの追尾候補領域を選択し、該選択した物体候補領域に被遮蔽判定領域が含まれているか、を判定すれば良い。対応領域と重複する複数の物体候補領域から１つの物体候補領域を選択する方法としては、例えば、該対応領域との距離が最も小さい物体候補領域を選択する方法が適用可能であるが、特定の選択方法に限らない。

このような判定の結果、ステップＳ２０１で取得部１１０が取得した撮像画像において追尾目標が遮蔽物に遮蔽された、もしくは該遮蔽が解除された、と判定した場合には、処理はステップＳ３０３に進む。一方、このような判定の結果、このような遮蔽の発生も該遮蔽の解除もない場合には、処理はステップＳ２０１に進み、次のフレームについて以降の各ステップにおける処理が行われる。

ステップＳ３０３では、切替部１６０は、追尾処理部１４０が追尾する追尾対象を切り替える（選択する）。ここで、ステップＳ３０３における切替部１６０の動作は、遮蔽検知部１５０が遮蔽の発生を検知した場合と、該遮蔽の解除を検知した場合と、で異なる。

切替部１６０はまず、追尾処理部１４０が出力したそれぞれの物体候補領域について、該物体候補領域中の任意の部分領域（例えば、物体候補領域の中心位置付近の領域）を切替判定領域として設定する。

そして、遮蔽検知部１５０が遮蔽の発生を検知した場合、切替部１６０は、遮蔽物領域マップにおいて切替判定領域に対応する対応領域のうち、遮蔽物領域が占める割合が最も高い対応領域を特定する。そして切替部１６０は、該特定した対応領域に対応する物体候補領域のオブジェクトを、追尾対象として決定（選択）する。図１０（ａ）の例では、遮蔽物領域マップにおいて切替判定領域に対応する対応領域１００２，１００３のうち、遮蔽物領域１００４が占める割合が最も高い対応領域は対応領域１００２である。然るに、該対応領域１００２に対応する物体候補領域１００１のオブジェクト（遮蔽物領域１００４に対応するオブジェクト）が、追尾対象として決定（選択）される。

また、遮蔽検知部１５０が遮蔽の解除を検知した場合、切替部１６０は、被遮蔽物領域マップにおいて切替判定領域に対応する対応領域のうち、被遮蔽物領域が占める割合が最も高い対応領域を特定する。そして切替部１６０は、該特定した対応領域に対応する物体候補領域のオブジェクトを、追尾対象として決定（選択）する。図１０（ｂ）の例では、被遮蔽物領域マップにおいて切替判定領域に対応する対応領域１００６，１００７のうち、被遮蔽物領域１００８が占める割合が最も高い対応領域は対応領域１００７である。然るに、該対応領域１００７に対応する物体候補領域１００５のオブジェクト（被遮蔽物領域１００８に対応するオブジェクト）が、追尾対象として決定（選択）される。

このように、本実施形態によれば、遮蔽物領域や被遮蔽物領域を利用した方法で追尾対象の切り替えを行うので、第１の実施形態と同様、追尾目標をより正確に追尾することができる。

［第３の実施形態］
本実施形態では、遮蔽検知部１５０が遮蔽の発生を検知しても、即座に追尾対象の切り替えを行うのではなく、追尾対象の遮蔽の度合いに応じて切り替えを行うか否かを判定する。

本実施形態に係るシステムの機能構成例について、図１１のブロック図を用いて説明する。図１１に示す如く、本実施形態に係るシステムは、図５の画像処理装置１００に切替判定部１８０を加えた構成を有する。

次に、上記の設定処理後に撮像装置２００から出力されるそれぞれの撮像画像において追尾対象を追尾するために画像処理装置１００が行う処理について、図１２のフローチャートに従って説明する。なお、図１２において図６に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ３０２における判定の結果、ステップＳ２０１で取得部１１０が取得した撮像画像において追尾目標が遮蔽物に遮蔽された、もしくは該遮蔽が解除された、と判定した場合には、処理はステップＳ４０１に進む。一方、このような判定の結果、このような遮蔽の発生も該遮蔽の解除もない場合には、処理はステップＳ２０１に進み、次のフレームについて以降の各ステップにおける処理が行われる。

ステップＳ４０１では、切替判定部１８０は、追尾対象の切替を行うか否かを判定する。この判定の結果、追尾対象の切り替えを行う場合には、処理はステップＳ３０３に進み、追尾対象の切り替えを行わない場合には、処理はステップＳ２０１に進み、次のフレームについて以降の各ステップにおける処理が行われる。

追尾対象の切り替えを判定する方法の例としては、追尾目標の物体領域が消失した場合に追尾対象の切り替えを行うと判定する方法が考えられる。以下では、遮蔽の発生を検知した場合における処理について説明し、遮蔽の解除を検知した場合における処理は上記の実施形態と同様であるものとする。

例えば「遮蔽検知部１５０によって遮蔽が検知されており、且つ検出部１５１が出力した被遮蔽物領域の面積（画素数など）のθ％以上を含む物体候補領域が存在しない」という条件が満たされた場合に、追尾目標の物体領域が撮像画像から消失したと判定する。

図１３の被遮蔽物領域マップは、遮蔽検知部１５０によって遮蔽が検知されている状態における被遮蔽物領域マップである。ここで、θ＝３０％とする。このとき、図１３（ａ）の被遮蔽物領域マップにおいて、被遮蔽物の物体候補領域に対応する対応領域１３０２は、該被遮蔽物の被遮蔽物領域１３０１の３０％以上を含むので、追尾目標の物体領域は消失していないと判定される。一方、図１３（ｂ）の被遮蔽物領域マップでは、被遮蔽物の被遮蔽物領域１３０３の３０％以上を含む「被遮蔽物の物体候補領域に対応する対応領域」は存在しないため、追尾目標の物体領域は消失したと判定される。

また、追尾対象の切り替えを判定する方法としては、例えば、遮蔽が発生したことを検知してから予め定められた期間中一度も「遮蔽の解除」を検知していない場合に、追尾対象を遮蔽物に切り替えると判定しても良い。また、例えば、遮蔽が解除したことを検知してから予め定められた期間中一度も「遮蔽」を検知していない場合に、追尾対象を追尾目標に切り替えると判定しても良い。

本実施形態では、遮蔽検知部１５０が遮蔽の発生を検知してから切替判定部１８０が追尾目標を切り替えると判定するまでの期間内では、追尾処理部１４０は、該期間内のそれぞれの撮像画像について追尾候補情報を生成して情報保存部１７０に格納する。追尾候補情報は、該撮像画像から追尾処理部１４０が検出した物体候補領域の位置やサイズを規定する情報、該物体候補領域内の画像、該物体候補領域が遮蔽物の物体候補領域であるか否かを示すフラグ、を含む。フラグはＴＲＵＥ、ＦＡＬＳＥの２値をとり、ＴＲＵＥは「物体候補領域が遮蔽物の物体候補領域である」ことを示し、ＦＡＬＳＥは「物体候補領域は遮蔽物の物体候補領域ではない」ことを示している。

ステップＳ３０３では、切替部１６０は、情報保存部１７０に格納されている追尾候補情報のうち、フラグがＴＲＵＥの追尾候補情報を１つ選択し、該選択した追尾候補情報に対応する物体候補領域のオブジェクトを追尾対象として選択する。この時、１つの追尾候補情報を選択するのではなく、複数の追尾候補情報を組み合わせて用いてもよい。

そしてステップＳ２０５では、切替部１６０は、追尾処理部１４０が追尾対象を追尾するために用いる追尾モデルとして「ステップＳ３０３で選択した追尾対象を追尾するための追尾モデル」を設定するよう、設定部１３０に対して指示する。その際、追尾モデルがオンライン学習を行うオンライン学習モデルの場合には、保存された追尾候補情報を用いてオンライン学習モデルの学習を行ってもよい。

このように、本実施形態では、遮蔽検知部１５０と切替判定部１８０による２段階の遮蔽判定を行う。これによって、追尾目標が完全に隠れない軽微な遮蔽の場合には追尾対象の切り替えを省略することで、不必要な計算処理を省くことができる。

また、追尾モデルがオンライン学習を行うオンライン学習モデルの場合には、追尾処理部１４０の設定時に、情報保存部１７０に格納されている追尾候補情報を用いて学習を行うことによって、追尾対象切り替え後の追尾精度を向上させることができる。

なお、上記の実施形態では、図２，５，１１に示した画像処理装置１００の各機能部をソフトウェア（コンピュータプログラム）で実装したケースについて説明したが、これらの機能部のうち１以上をハードウェアで実装しても良い。

また、上記の実施形態では、撮像装置２００と画像処理装置１００とは別個の装置であるものとして説明した。しかし、撮像装置２００と画像処理装置１００とを一体化させて、撮像装置２００の機能と画像処理装置１００の機能とを有する１台の装置を構成しても良い。また、情報保存部１７０についても、画像処理装置１００の外部装置とするのではなく、画像処理装置１００と一体化させても良い。

また、上記の実施形態では、撮像画像から取得した撮像画像に対する追尾処理について説明したが、該撮像画像に係る処理として該追尾処理に加えて他の処理を実行しても良い。例えば、ＣＰＵ１０１は、撮像装置２００から取得した撮像画像に加えて、該撮像画像における追尾対象の物体領域をユーザに通知するための情報を、表示部１０５に表示させても良い。「追尾対象の物体領域をユーザに通知するための情報」は、該物体領域の枠、該物体領域内の追尾対象に対する認識結果（種別（人物、犬、車、頭部、腕、足など）、年齢、性別など）、などの情報のうち１以上を含む。

このように、上記の実施形態にて説明したシステムは１台の装置で実装しても良いし、２台以上任意の数の装置で構成しても良い。その場合に、上記の実施形態にて説明したシステムの各機能をどの装置に実行させるのかについては適宜変形が考えられ、どのような形態であっても構わない。

また、上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の送信先／送信元／格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や変形例の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：画像処理装置 １１０：取得部 １２０：設定部 １３０：設定部 １４０：処理部 １５０：遮蔽検知部 １６０：切替部 １７０：情報保存部 ２００：撮像装置

Claims (11)

1. 撮像画像中の追尾対象を追尾する追尾処理を追尾モデルを用いて行う追尾手段と、
   前記追尾手段が第１オブジェクトを追尾対象として追尾中に該第１オブジェクトが第２オブジェクトに遮蔽されたことが検知された場合には、前記追尾モデルを、該第２オブジェクトを追尾対象として追尾する第１モデルに切り替え、該遮蔽が解除されたことが検知された場合には、前記追尾モデルを、該第１オブジェクトを追尾対象として追尾する第２モデルに切り替える切替手段と
   を備えることを特徴とする画像処理装置。
2. 前記切替手段は、
   前記追尾手段が第１オブジェクトを追尾対象として追尾中に該第１オブジェクトが第２オブジェクトに遮蔽されたことが検知された場合には、前記追尾モデルを、該第２オブジェクトの画像を用いて構築した第１モデルに切り替え、該遮蔽が解除されたことが検知された場合には、前記追尾モデルを、該第１オブジェクトの画像を用いて構築した第２モデルに切り替える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記切替手段は、
   前記撮像画像における第１オブジェクトの領域を表す第１マップに基づいて、前記第２オブジェクトによる前記第１オブジェクトの遮蔽を検知することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記切替手段は、
   前記遮蔽が検知されると、前記撮像画像における前記第１オブジェクトの領域の候補と、前記撮像画像における第２オブジェクトの領域を表す第２マップと、に基づいて、前記第２オブジェクトを追尾対象として決定し、前記追尾モデルを、該決定した第２オブジェクトを追尾対象として追尾する第１モデルに切り替えることを特徴とする請求項３に記載の画像処理装置。
5. 前記切替手段は、
   前記撮像画像における第２オブジェクトの領域を表す第２マップに基づいて、前記遮蔽の解除を検知することを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
6. 前記切替手段は、
   前記遮蔽の解除が検知されると、前記撮像画像における前記第１オブジェクトの領域の候補と、前記撮像画像における第１オブジェクトの領域を表す第１マップと、に基づいて、前記第１オブジェクトを追尾対象として決定し、前記追尾モデルを、該決定した第１オブジェクトを追尾対象として追尾する第２モデルに切り替えることを特徴とする請求項５に記載の画像処理装置。
7. 前記切替手段は、前記遮蔽が検知されると、前記撮像画像における前記第１オブジェクトの領域の候補と、前記撮像画像における第１オブジェクトの領域を表す第１マップと、に基づいて、前記切り替えを行うか否かを判定することを特徴とする請求項１ないし６の何れか１項に記載の画像処理装置。
8. 前記第１モデルおよび前記第２モデルは、ニューラルネットワーク、テンプレートマッチング、を含むことを特徴とする請求項１ないし７の何れか１項に記載の画像処理装置。
9. さらに、前記撮像画像を撮像する撮像手段を備えることを特徴とする請求項１ないし８の何れか１項に記載の画像処理装置。
10. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の追尾手段が、撮像画像中の追尾対象を追尾する追尾処理を追尾モデルを用いて行う追尾工程と、
    前記画像処理装置の切替手段が、前記追尾工程で第１オブジェクトを追尾対象として追尾中に該第１オブジェクトが第２オブジェクトに遮蔽されたことが検知された場合には、前記追尾モデルを、該第２オブジェクトを追尾対象として追尾する第１モデルに切り替え、該遮蔽が解除されたことが検知された場合には、前記追尾モデルを、該第１オブジェクトを追尾対象として追尾する第２モデルに切り替える切替工程と
    を備えることを特徴とする画像処理方法。
11. コンピュータを、請求項１ないし８の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images