JP2022140869A - 検知装置、検知方法及び検知プログラム - Google Patents
検知装置、検知方法及び検知プログラム Download PDFInfo
- Publication number
- JP2022140869A JP2022140869A JP2021040897A JP2021040897A JP2022140869A JP 2022140869 A JP2022140869 A JP 2022140869A JP 2021040897 A JP2021040897 A JP 2021040897A JP 2021040897 A JP2021040897 A JP 2021040897A JP 2022140869 A JP2022140869 A JP 2022140869A
- Authority
- JP
- Japan
- Prior art keywords
- image
- query
- image data
- processed
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
特に、監視カメラ等によって撮像されて得られる画像データは膨大な量になる。そのため、膨大な量の画像データから不審者を検知する処理は負荷が重くなってしまう。
本開示は、処理負荷を抑えつつ、施設内をうろつく不審者等を検知できるようにすることを目的とする。
カメラによって撮像されて得られた画像データを順に判定対象の画像データとして、前記判定対象の画像データに対象物が含まれ、かつ、前記判定対象の画像データが条件を満たす場合に、前記判定対象の画像データを前記対象物についての部分画像をクエリ画像として抽出するクエリ抽出部と、
前記クエリ抽出部によって新たに抽出されたクエリ画像を処理対象のクエリ画像として、前記処理対象のクエリ画像に基づき、前記クエリ抽出部によって過去に抽出されたクエリ画像であるギャラリ画像から、前記処理対象のクエリ画像の対象物を含む画像データを検索する検索部と
を備える。
前記ギャラリ画像である画像データを順に検索対象の画像データとして、前記処理対象のクエリ画像の対象物が前記検索対象の画像データに含まれるか否かを判定する同一性判定部と、
前記同一性判定部によって前記処理対象のクエリ画像に含まれる対象物が含まれると判定された場合に、前記検索対象の画像データの同一情報に前記処理対象のクエリ画像の識別子である画像識別子を追加し、前記処理対象のクエリ画像についての同一リストに、前記検索対象の画像データの画像識別子を追加するとともに、前記処理対象のクエリ画像についての同一リストに、前記検索対象の画像データの同一情報に存在する画像識別子を追加するリスト追加部と、
前記処理対象のクエリ画像についての同一リストに存在する画像識別子の数が前記閾値以上になった場合に通知する通知部と
を備える。
前記処理対象のクエリ画像と、前記処理対象のクエリ画像と同一の対象物を含む他の画像データである関連クエリ画像とのそれぞれから計算された前記対象物の特徴量から、前記対象物の特徴量についての統計量を計算する統計量計算部
を備え、
前記検索部は、前記統計量計算部によって計算された前記統計量に基づき、前記処理対象のクエリ画像の対象物を含む画像データを検索する。
前記処理対象のクエリ画像と、前記処理対象のクエリ画像と同一の対象物を含む1つ以上の他の画像データである関連クエリ画像とのそれぞれから計算された前記対象物の特徴量に基づき前記処理対象のクエリ画像と前記関連クエリ画像とを1つ以上のグループに分類し、前記1つ以上のグループそれぞれを対象として、対象のグループに含まれる前記画像データから計算された前記対象物の特徴量についての統計量を計算する統計量計算部
を備え、
前記検索部は、前記統計量計算部によって計算された前記1つ以上のグループそれぞれについての前記統計量に基づき、前記処理対象のクエリ画像の対象物を含むギャラリ画像を検索する。
カメラによって撮像されて得られた画像データを順に判定対象の画像データとして、前記判定対象の画像データに対象物が含まれ、かつ、前記判定対象の画像データが条件を満たす場合に、前記判定対象の画像データを前記対象物についての部分画像をクエリ画像として抽出し、
抽出されたクエリ画像を処理対象のクエリ画像として、前記処理対象のクエリ画像に基づき、過去に抽出されたクエリ画像であるギャラリ画像から、前記処理対象のクエリ画像の対象物を含む画像データを検索する。
カメラによって撮像されて得られた画像データを順に判定対象の画像データとして、前記判定対象の画像データに対象物が含まれ、かつ、前記判定対象の画像データが条件を満たす場合に、前記判定対象の画像データを前記対象物についての部分画像をクエリ画像として抽出するクエリ抽出処理と、
前記クエリ抽出処理によって新たに抽出されたクエリ画像を処理対象のクエリ画像として、前記処理対象のクエリ画像に基づき、前記クエリ抽出処理によって過去に抽出されたクエリ画像であるギャラリ画像から、前記処理対象のクエリ画像の対象物を含む画像データを検索する検索処理と
を行う検知装置としてコンピュータを機能させる。
***構成の説明***
図1を参照して、実施の形態1に係る検知装置10の構成を説明する。
検知装置10は、コンピュータである。
検知装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
検知装置10には、通信インタフェース14を介して1台以上のカメラ40が接続されている。また、検知装置10には、通信インタフェース14を介して記憶装置50が接続されている。
ストレージ13には、検知装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、検知装置10の各機能構成要素の機能が実現される。
図2から図13を参照して、実施の形態1に係る検知装置10の動作を説明する。
実施の形態1に係る検知装置10の動作手順は、実施の形態1に係る検知方法に相当する。また、実施の形態1に係る検知装置10の動作を実現するプログラムは、実施の形態1に係る検知プログラムに相当する。
(ステップS1:クエリ抽出処理)
取得部111は、カメラ40によって撮像されて得られた画像データを順に判定対象の画像データとして取得する。クエリ抽出部115は、複数の画像データのうち、対象物が含まれる画像データであって、条件を満たす画像データから対象物についての部分画像をクエリ画像として切り出す。クエリ画像は、画像データから対象物の検知された部分画像を切り出した画像である。以降、クエリ画像を切り出すことを、クエリ画像の抽出と表現する。
検索部116は、クエリ抽出部115によって抽出されたクエリ画像を処理対象のクエリ画像に設定する。検索部116は、処理対象のクエリ画像に基づき、クエリ抽出部115によって過去に抽出されたクエリ画像であるギャラリ画像から、処理対象のクエリ画像と同一の対象物を含む画像データを検索する。
ここで、検知装置10に接続された各カメラ40は、一意なカメラID(IDentifier)が割り当てられており、対象物を検知する対象エリアの一部を撮像するように設置されている。対象物は、人と動物と車といったものである。実施の形態1では、対象物として人を例に説明する。対象エリアは、商業施設と交通施設といった施設である。
各カメラ40は、既定のフレームレートの映像データを取得している。各カメラ40は、映像データを構成する新しいフレームの画像データが取得されると、画像データをカメラID及び画像データの撮像時刻とともに接続された検知装置10に送信する。
取得部111は、カメラ40から送信された画像データとカメラIDと撮像時刻とを取得する。取得部111は、画像データとカメラIDと撮像時刻とを関連付けて記憶装置50に書き込む。取得部111は、取得された画像データを判定対象の画像データに設定する。
検知部112は、判定対象の画像データから対象物を検知する。
具体的には、検知部112は、判定対象の画像データを入力として、画像データに含まれる各対象物について、画像データにおいて対象物が存在する領域と対象物であることの確信度と対象物の属性とを出力する検知モデルを用いる。つまり、検知部112は、ステップS11で取得された判定対象の画像データを検知モデルに入力として与え、対象物が存在する領域と対象物であることの確信度と対象物の属性とを取得することにより、対象物を検知する。実施の形態1では、対象物は人である。そのため、検知部112は、画像データを検知モデルに入力として与えることにより、画像データにおいて人が存在する領域と、人であることの確信度と、人の属性とを取得する。人の属性は、具体例としては、性別と年齢層と等である。
特徴量計算部113は、処理対象の対象物について特徴量を計算する。ここでは、特徴量は、複数次元ベクトルで表される数値情報とする。なお、特徴量の計算方法は、どのような方法であっても構わない。また、特徴量は、任意の整数N,Mに基づくN行M列の行列として表される数値情報であってもよい。
追跡部114は、処理対象の対象物の追跡を行う。
具体的には、追跡部114は、過去追跡期間にステップS11で取得された画像データから検知された対象物から、処理対象の対象物を特定することにより追跡を行う。実施の形態1では、対象物は人であるため、追跡部114は、過去追跡期間にステップS11で取得された画像データから検知された人から、処理対象の人と同じ人を特定し、過去追跡期間に割り当てられた対象物IDと同一のIDを処理対象の人に割り当て、ステップS11で記憶された画像データと紐付けされる
例えば、追跡部114は、ステップS13で計算された特徴量の類似度と、位置関係とに基づき、各対象物の追跡を行う。なお、具体的な追跡方法は、どのような方法でも構わない。
ステップS12の検知処理で各対象物に対象物IDを付与すると、同じ人に異なる対象物IDを付与してしまう可能性が高い。ステップS14の追跡処理で同じ人と特定した後、対象物IDを付与することにより、同じ人に同じ対象物IDを付与することができる。
クエリ抽出部115は、処理対象の対象物について、判定対象の画像データにおける処理対象の対象物の部分画像をクエリ画像とするか否かを判定する。クエリ判定処理については後述する。
クエリ抽出部115は、ステップS15で処理対象の対象物についてのクエリ画像と判定された場合に、ステップS13で計算された処理対象の対象物についての特徴量を検索部116に送信して、検索処理(図2のステップS2)の実行を促す。
(ステップS151:カメラ判定処理)
クエリ抽出部115は、判定対象の画像データが、検知装置10に接続されたカメラ40のうち、クエリ画像を取得するための特定のカメラ40によって撮像されて得られた画像データであるか否かを判定する。
クエリ抽出部115は、判定対象の画像データが、特定のカメラ40によって撮像されて得られた画像データである場合には、処理をステップS152に進める。一方、クエリ抽出部115は、判定対象の画像データが、特定のカメラ40によって撮像されて得られた画像データでない場合には、処理を終了する。
クエリ抽出部115は、処理対象の対象物がクエリ画像を取得するための検知領域内であるか否かを判定する。具体的には、クエリ抽出部115は、ステップS12で特定された処理対象の対象物が存在する領域の基準位置が、検知領域内であるか否かを判定する。実施の形態1では、基準位置は、対象物である人の足元の位置とする。例えば、対象物が存在する領域が対象物を囲む矩形領域である場合には、クエリ抽出部115は、矩形領域の下辺の中心点の位置を足元の位置とすればよい。検知領域は、事前に設定される領域であり、ステップS151における特定のカメラ40についての撮像領域内の領域である。検知領域は、例えば、対象物が十分な大きさで撮像可能な領域等が設定される。
クエリ抽出部115は、処理対象の対象物が検知領域内である場合には、処理をステップS153に進める。一方、クエリ抽出部115は、処理対象の対象物が検知領域内でない場合には、処理を終了する。
クエリ抽出部115は、判定対象の画像データの取得元のカメラ40によって過去追跡期間に、処理対象の対象物が検知されていたか否かを判定する。具体的には、クエリ抽出部115は、ステップS14で追跡された結果を参照することにより、過去追跡期間に取得された画像データから、処理対象の対象物が検知されていたか否かを判定する。
クエリ抽出部115は、処理対象の対象物が検知されていた場合には、処理をステップS154に進める。一方、クエリ抽出部115は、処理対象の対象物が検知されていない場合には、処理を終了する。
この判定は、後述するステップS156及びステップS157の処理において、処理対象の対象物の移動軌跡に基づく判定を行うために、過去に処理対象の対象物が検知されている必要があるので行われる。
クエリ抽出部115は、判定対象の画像データの取得元のカメラ40が、滞留エリアが設定されているか否かを判定する。滞留エリアは、カメラ40毎に、設定されている場合と、設定されていない場合とがある。図5に示すように、滞留エリアは、カメラ40の撮像領域内の領域であって、検知領域に隣接する領域である。
クエリ抽出部115は、滞留エリアが設定されている場合には、処理をステップS155に進める。一方、クエリ抽出部115は、滞留エリアが設定されていない場合には、処理をステップS156に進める。
クエリ抽出部115は、判定対象の画像データに含まれる対象物が滞留エリアに滞在する時間が滞在時間の条件を満たすか否かを判定する。
具体的には、クエリ抽出部115は、判定対象の画像データの取得元のカメラ40によって取得された過去滞在時間分の画像データにおいて、対象物が滞留エリアに継続している場合には、滞在時間の条件を満たすと判定する。例えば、図6に示すように、過去滞在時間分の画像データから得られる対象物の軌跡が滞留エリア内である場合には、クエリ抽出部115は、滞在時間の条件を満たすと判定する。一方、図7に示すように、過去滞在時間分の画像データから得られる対象物の軌跡が滞留エリアから出ている場合には、クエリ抽出部115は、滞在時間の条件を満たさないと判定する。
ここで、対象物の軌跡は、ステップS12で特定された処理対象の対象物が存在する領域の基準位置の軌跡である。
クエリ抽出部115は、判定対象の画像データの取得元のカメラ40の奥側から手前側に向かって処理対象の対象物が移動したか否かを判定する。これにより、クエリ抽出部115は、対象物の前面側が撮像されたか否かを判定する。なお、対象物が前を向いて移動していることが前提である。
具体的には、クエリ抽出部115は、過去にステップS11で取得された画像データから検知された処理対象の対象物の位置よりも、処理対象の対象物の位置がカメラ40の手前側であるか否かを判定する。クエリ抽出部115は、手前側であれば、奥側から手前側に向かって処理対象の対象物が移動したと判定する。ここでは、クエリ抽出部115は、過去にステップS11で取得された画像データから検知された処理対象の対象物の基準位置よりも、処理対象の対象物の基準位置がカメラ40の手前側であるか否かを判定する。
図9に示すように、画像データの幅方向にx軸が取られ、奥行方向にy軸が取られているとする。y軸の座標値は、手前側(画像データの下側)ほど大きな値をとるとする。この場合には、クエリ抽出部115は、過去にステップS11で取得された画像データから検知された処理対象の対象物の基準位置のy座標が、処理対象の対象物の基準位置のy座標よりも小さければ、奥側から手前側に向かって処理対象の対象物が移動したと判定する。
クエリ抽出部115は、奥側から手前側に向かって処理対象の対象物が移動した場合には、処理をステップS157に進める。一方、クエリ抽出部115は、奥側から手前側に向かって処理対象の対象物が移動していない場合には、処理を終了する。
クエリ抽出部115は、図9に示すように、処理対象の対象物の移動ベクトルと、検知領域における画像データの横方向の直線との成す角の余弦値の絶対値が閾値以下であるか否かを判定する。これにより、クエリ抽出部115は、処理対象の対象物が、カメラ40に向かって斜めに移動するのではなく、ある程度以上カメラ40の方を向いて移動しているか否かを判定する。
クエリ抽出部115は、成す角の余弦値の絶対値が閾値以下である場合には、処理をステップS158に進める。一方、クエリ抽出部115は、成す角の余弦値の絶対値が閾値以下でない場合には、処理を終了する。
クエリ抽出部115は、ステップS12において処理対象の対象物が検知された判定対象の画像データにおける部分画像をクエリ画像とすると判定する。そして、クエリ抽出部115は、対象物の部分画像を切り出しクエリ画像として抽出する。
検索部116は、図3のステップS16で特徴量が送信されると図10に示す処理を実行する。この際、検索部116は、図3のステップS16で送信された特徴量に対応するクエリ画像を処理対象のクエリ画像に設定する。
検索部116の同一性判定部117は、処理対象のクエリ画像に対して画像識別子を割り当てる。画像識別子は、クエリ画像の識別子である。また、同一性判定部117は、同一リストを空にする。同一リストは、同一の対象物を含むと判定された他のクエリ画像の画像識別子のリストである。
各ギャラリ画像には、ステップS21で割り当てられた画像識別子と、図3のステップS16で送信された特徴量と、後述する処理で画像識別子が追加される同一情報とが対応付けられている。
検索部116の同一性判定部117は、同一リストに、検索対象の画像データの画像識別子が含まれているか否かを判定する。
同一性判定部117は、同一リストにギャラリ画像の画像識別子が含まれていない場合には、処理をステップS23に進める。一方、同一性判定部117は、同一リストにギャラリ画像の画像識別子が含まれている場合には、処理をステップS25に進める。
検索部116の同一性判定部117は、処理対象のクエリ画像の特徴量と、検索対象の画像データの特徴量とを比較して、処理対象のクエリ画像と同一の対象物が、検索対象の画像データに含まれるか否かを判定する。具体的には、同一性判定部117は、処理対象のクエリ画像の特徴量と検索対象の画像データの特徴量との類似度が基準値以上である場合には、処理対象のクエリ画像と同一の対象物が、検索対象の画像データに含まれると判定する。
同一性判定部117は、処理対象のクエリ画像と同一の対象物が、検索対象の画像データに含まれる場合には、処理をステップS24に進める。一方、同一性判定部117は、処理対象のクエリ画像と同一の対象物が、検索対象の画像データに含まれない場合には、処理をステップS26に進める。
検索部116のリスト追加部118は、同一リストに、検索対象の画像データの画像識別子を追加する。また、リスト追加部118は、同一リストに、検索対象の画像データについての同一情報に含まれる画像識別子を追加する。
検索部116のリスト追加部118は、検索対象の画像データについての同一情報に、処理対象のクエリ画像の画像識別子を追加する。
検索部116のリスト追加部118は、同一リストに存在する画像識別子の数が閾値以上であるか否かを判定する。
リスト追加部118は、画像識別子の数が閾値以上である場合には、処理をステップS27に進める。一方、リスト追加部118は、画像識別子の数が閾値以上でない場合には、次のギャラリ画像を検索対象の画像データとしてステップS22の処理を実行する。なお、次のギャラリ画像がない場合には、リスト追加部118は、処理をステップS28に進める。
検索部116の通知部119は、通信インタフェース14を介して、検知装置10のユーザの端末等に、不審者等が検知されたことを通知する。
なお画像データに付与されている人の属性を用いて、予め定めた属性の場合のみ、検知を通知するように構成することもできる。また通知時に、人の属性も合わせて通知し、ユーザがその属性を用いて、通知結果を検索するように構成することもできる。
検索部116の通知部119は、処理対象のクエリ画像をギャラリ画像として、ステップS13で計算された特徴量とともに記憶装置50に書き込む。
図11に示すように、ギャラリ画像として、画像識別子がID1とID2との2つの画像データが記憶されており、クエリ画像として、画像識別子がID3の画像データが新たに抽出されたとする。ここで、クエリ画像の対象物は、どのギャラリ画像にも含まれていないとする。この場合には、どのギャラリ画像が検索対象の画像データになった場合にも、ステップS23では処理対象のクエリ画像の対象物が、検索対象の画像データに含まれないと判定される。そのため、同一リストと、全てのギャラリ画像についての同一情報とに、画像識別子は追加されない。
その後、画像識別子がID4のギャラリ画像が検索対象の画像データであるときには、ステップS22で検索対象の画像データの画像識別子であるID4が同一リストに含まれていると判定される。そのため、ステップS23の同一性判定処理はスキップされ、ステップS25で画像識別子がID4のギャラリ画像についての同一情報にID5が追加される。
このように、過去に同一の対象物を含むことが確認されている画像データに対する同一性判定処理が省略される。
仮に閾値が3であるとする。すると、ステップS26において、画像識別子がID1のギャラリ画像が検索対象の画像データであるときに、同一リストに存在する画像識別子の数が閾値以上であると判定される。その結果、処理がループを抜けてステップS27に進められ、不審者等が検知されたことが通知される。つまり、画像識別子がID2以降のギャラリ画像を検索対象の画像データとして処理を行うことなく、不審者等が検知される。
以上のように、実施の形態1に係る検知装置10は、条件を満たす画像データからクエリ画像を抽出し、新たに抽出されたクエリ画像に基づき、過去に抽出されたクエリ画像であるギャラリ画像から、クエリ画像を含む画像データを検索する。これにより、検索対象とする画像データの数を絞りつつ、決められた範囲をうろつく不審者等を検知することが可能である。
これにより、同一性判定処理の回数を減らすことが可能であり、処理負荷を抑えることが可能である。また、同一リストに、検索対象の画像データの画像識別子だけでなく、検索対象の画像データについての同一情報に含まれる画像識別子も追加することにより、クエリ画像を含む画像データが閾値以上の数だけあることを早期に特定可能な場合がある。その結果、処理負荷を抑えることが可能である。
<変形例1>
実施の形態1では、過去に抽出されたクエリ画像をギャラリ画像にすると説明した。しかし、撮像された時刻から制限時間以上経過したクエリ画像についてはギャラリ画像から除外してもよい。これにより、ある程度時間が経過してしまった情報を加味せずに、不審者等を検知することが可能になる。
実施の形態1では、ギャラリ画像の画像識別子の順に検索対象の画像データとした。しかし、検索対象の画像データとするギャラリ画像の順序は、これに限るものではない。例えば、特定のカメラ40について優先的に検索を行いたい場合には、特定のカメラ40によって取得されたギャラリ画像を先に検索対象の画像データとしてもよい。その他、優先的に検索したい条件に合致するギャラリ画像を先に検索対象の画像データとしてもよい。
これにより、優先的に検索したい条件に合致するギャラリ画像に対して先に同一性判定処理が行われ、早期に検索結果を得ることができる。
実施の形態1では、1つの検知装置10について説明した。しかし、カメラ40の台数が増えた場合等には、複数の検知装置10を備える検索システムを構成してもよい。これにより、各検知装置10の負荷を抑えつつ、広い範囲について不審者等を検知することが可能になる。
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例4として、各機能構成要素はハードウェアで実現されてもよい。この変形例4について、実施の形態1と異なる点を説明する。
各機能構成要素がハードウェアで実現される場合には、検知装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
変形例5として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
実施の形態2は、1つの対象物に対して複数のクエリ画像を抽出する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明して、同一の点については説明を省略する。
図16を参照して、実施の形態2に係る検知装置10の構成を説明する。
検知装置10は、機能構成要素として、統計量計算部120を備える点が図1に示す検知装置10と異なる。統計量計算部120の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
図10を参照して、実施の形態2に係る検知システム100の動作を説明する。
実施の形態2に係る検知システム100の動作手順は、実施の形態2に係る検知方法に相当する。また、実施の形態2に係る検知システム100の動作を実現するプログラムは、実施の形態2に係る検知プログラムに相当する。
具体的には、クエリ抽出部115は、クエリ判定処理(図3のステップS15)においてクエリ画像と判定された場合には、クエリ画像と判定された元の画像データの前後基準時間に撮像時刻が含まれる画像データであって、同一の対象物が含まれている画像データのその対象物が検知された部分画像を関連クエリ画像に設定する。
あるいは、クエリ抽出部115は、クエリ判定処理(図3のステップS15)においてクエリ画像と判定された場合には、他のカメラ40のうち特定のカメラ40で撮像された画像データであって、同一の対象物が含まれている画像データにおけるその対象物が検知された部分画像を関連クエリ画像に設定する。
図10のステップS21からステップS22の処理と、ステップS24からステップS28の処理とは、実施の形態1と同じである。
検索部116の同一性判定部117は、処理対象のクエリ画像の統計量と、検索対象の画像データの統計量とを比較して、処理対象のクエリ画像と同一の対象物が、検索対象の画像データに含まれるか否かを判定する。具体的には、同一性判定部117は、処理対象のクエリ画像の統計量と検索対象の画像データの統計量との類似度が基準値以上である場合には、処理対象のクエリ画像と同一の対象物が、検索対象の画像データに含まれると判定する。
以上のように、実施の形態2に係る検知装置10は、複数のクエリ画像(クエリ画像と関連クエリ画像)の特徴量から計算された統計量を用いて、ギャラリ画像との同一性判定を行う。
ギャラリ画像に含まれる対象物は、クエリ画像の対象物と異なる角度から撮像されている場合、又は、異なる姿勢になっている場合がある。複数のクエリ画像の特徴量から計算された統計量を用いることにより、様々な映り方の対象物についての特徴量を加味してギャラリ画像を検索することが可能になる。その結果、異なる角度から対象物を撮像したギャラリ画像と、異なる姿勢になっている対象物が含まれるギャラリ画像についても適切に検索することが可能になる。
<変形例6>
統計量計算部120は、複数のクエリ画像(クエリ画像と関連クエリ画像)を1つ以上のグループに分類し、1つ以上のグループそれぞれを対象として、対象のグループに含まれるクエリ画像(クエリ画像と関連クエリ画像)の特徴量についての統計量を計算してもよい。この際、統計量計算部120は、複数のクエリ画像の特徴量に基づき、複数のクエリ画像を1つ以上のグループに分類することが考えられる。特徴量を構成する要素のうち、対象物を撮像した角度の違いと、対象物の姿勢の違いとの少なくともいずれかによって変化する次元の要素に基づき、複数のクエリ画像を1つ以上のグループに分類することが考えられる。
この場合には、図9のステップS24では、検索部116は、1つ以上のグループそれぞれについての統計量に基づき、処理対象のクエリ画像と同一の対象物を含むギャラリ画像を検索する。
これにより、異なる角度から対象物を撮像したギャラリ画像と、異なる姿勢になっている対象物が含まれるギャラリ画像についてもより適切に検索することが可能になる。
Claims (11)
- カメラによって撮像されて得られた画像データを順に判定対象の画像データとして、前記判定対象の画像データに対象物が含まれ、かつ、前記判定対象の画像データが条件を満たす場合に、前記判定対象の画像データから前記対象物についての部分画像をクエリ画像として抽出するクエリ抽出部と、
前記クエリ抽出部によって新たに抽出されたクエリ画像を処理対象のクエリ画像として、前記処理対象のクエリ画像に基づき、前記クエリ抽出部によって過去に抽出されたクエリ画像であるギャラリ画像から、前記処理対象のクエリ画像の対象物を含む画像データを検索する検索部と
を備える検知装置。 - 前記クエリ抽出部は、前記判定対象の画像データに含まれる前記対象物が滞留エリアに滞在する時間が滞在時間の条件を満たす場合に、前記判定対象の画像データから前記クエリ画像を抽出する
請求項1に記載の検知装置。 - 前記クエリ抽出部は、前記判定対象の画像データに含まれる対象物の移動軌跡が移動方向の条件を満たす場合に、前記判定対象の画像データから前記クエリ画像を抽出する
請求項1又は2に記載の検知装置。 - 前記移動方向の条件は、前記移動軌跡を示す移動ベクトルと、前記画像データの横方向の直線との成す角によって設定される
請求項3に記載の検知装置。 - 前記クエリ抽出部は、複数のカメラによって撮像されて得られた画像データのうち、特定のカメラによって撮像されて得られた画像データを順に判定対象の画像データとして、前記クエリ画像を抽出する
請求項1から4までのいずれか1項に記載の検知装置。 - 前記検索部は、前記処理対象のクエリ画像の対象物を含む画像データが閾値以上の数だけ検索された場合に通知する
請求項1から5までのいずれか1項に記載の検知装置。 - 前記検索部は、
前記ギャラリ画像である画像データを順に検索対象の画像データとして、前記処理対象のクエリ画像の対象物が前記検索対象の画像データに含まれるか否かを判定する同一性判定部と、
前記同一性判定部によって前記処理対象のクエリ画像に含まれる対象物が含まれると判定された場合に、前記検索対象の画像データの同一情報に前記処理対象のクエリ画像の識別子である画像識別子を追加し、前記処理対象のクエリ画像についての同一リストに、前記検索対象の画像データの画像識別子を追加するとともに、前記処理対象のクエリ画像についての同一リストに、前記検索対象の画像データの同一情報に存在する画像識別子を追加するリスト追加部と、
前記処理対象のクエリ画像についての同一リストに存在する画像識別子の数が前記閾値以上になった場合に通知する通知部と
を備える請求項6に記載の検知装置。 - 前記検知装置は、さらに、
前記処理対象のクエリ画像と、前記処理対象のクエリ画像と同一の対象物を含む他の画像データである関連クエリ画像とのそれぞれから計算された前記対象物の特徴量から、前記対象物の特徴量についての統計量を計算する統計量計算部
を備え、
前記検索部は、前記統計量計算部によって計算された前記統計量に基づき、前記処理対象のクエリ画像の対象物を含む画像データを検索する
請求項1から7までのいずれか1項に記載の検知装置。 - 前記検知装置は、さらに、
前記処理対象のクエリ画像と、前記処理対象のクエリ画像と同一の対象物を含む1つ以上の他の画像データである関連クエリ画像とのそれぞれから計算された前記対象物の特徴量に基づき前記処理対象のクエリ画像と前記関連クエリ画像とを1つ以上のグループに分類し、前記1つ以上のグループそれぞれを対象として、対象のグループに含まれる前記画像データから計算された前記対象物の特徴量についての統計量を計算する統計量計算部
を備え、
前記検索部は、前記統計量計算部によって計算された前記1つ以上のグループそれぞれについての前記統計量に基づき、前記処理対象のクエリ画像の対象物を含むギャラリ画像を検索する
請求項1から7までのいずれか1項に記載の検知装置。 - カメラによって撮像されて得られた画像データを順に判定対象の画像データとして、前記判定対象の画像データに対象物が含まれ、かつ、前記判定対象の画像データが条件を満たす場合に、前記判定対象の画像データから前記対象物についての部分画像をクエリ画像として抽出し、
抽出されたクエリ画像を処理対象のクエリ画像として、前記処理対象のクエリ画像に基づき、過去に抽出されたクエリ画像であるギャラリ画像から、前記処理対象のクエリ画像の対象物を含む画像データを検索する検知方法。 - カメラによって撮像されて得られた画像データを順に判定対象の画像データとして、前記判定対象の画像データに対象物が含まれ、かつ、前記判定対象の画像データが条件を満たす場合に、前記判定対象の画像データから前記対象物についての部分画像をクエリ画像として抽出するクエリ抽出処理と、
前記クエリ抽出処理によって新たに抽出されたクエリ画像を処理対象のクエリ画像として、前記処理対象のクエリ画像に基づき、前記クエリ抽出処理によって過去に抽出されたクエリ画像であるギャラリ画像から、前記処理対象のクエリ画像の対象物を含む画像データを検索する検索処理と
を行う検知装置としてコンピュータを機能させる検知プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021040897A JP7174796B2 (ja) | 2021-03-15 | 2021-03-15 | 検知装置、検知方法及び検知プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021040897A JP7174796B2 (ja) | 2021-03-15 | 2021-03-15 | 検知装置、検知方法及び検知プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022140869A true JP2022140869A (ja) | 2022-09-29 |
JP7174796B2 JP7174796B2 (ja) | 2022-11-17 |
Family
ID=83402747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021040897A Active JP7174796B2 (ja) | 2021-03-15 | 2021-03-15 | 検知装置、検知方法及び検知プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7174796B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003274388A (ja) * | 2002-03-13 | 2003-09-26 | Mitsubishi Electric Corp | 情報収集用監視カメラシステム及び情報収集方法 |
JP2012227593A (ja) * | 2011-04-15 | 2012-11-15 | Mitsubishi Electric Corp | 画像処理装置 |
-
2021
- 2021-03-15 JP JP2021040897A patent/JP7174796B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003274388A (ja) * | 2002-03-13 | 2003-09-26 | Mitsubishi Electric Corp | 情報収集用監視カメラシステム及び情報収集方法 |
JP2012227593A (ja) * | 2011-04-15 | 2012-11-15 | Mitsubishi Electric Corp | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7174796B2 (ja) | 2022-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7317919B2 (ja) | 外観検索のシステムおよび方法 | |
CN107798272B (zh) | 快速多目标检测与跟踪系统 | |
US10217010B2 (en) | Information processing apparatus for registration of facial features in a collation database and control method of the same | |
US11308158B2 (en) | Information processing system, method for controlling information processing system, and storage medium | |
US20220028107A1 (en) | Analysis apparatus, analysis method, and storage medium | |
KR20170119630A (ko) | 정보 처리장치, 정보 처리방법 및 기억매체 | |
US11594073B2 (en) | Face recognition method and face recognition device | |
JP7174796B2 (ja) | 検知装置、検知方法及び検知プログラム | |
JP5848665B2 (ja) | 移動物体上動きベクトル検出装置、移動物体上動きベクトル検出方法、およびプログラム | |
JP7200279B2 (ja) | 検知装置、検知方法、検知プログラム及び検知システム | |
Huang et al. | Enhancing multi-camera people tracking with anchor-guided clustering and spatio-temporal consistency ID re-assignment | |
JP7195892B2 (ja) | 座標変換行列推定方法及びコンピュータプログラム | |
WO2021193352A1 (ja) | 画像追跡装置、画像追跡方法、及びコンピュータ読み取り可能な記録媒体 | |
JP7411752B1 (ja) | 置去人特定装置、置去人特定方法及び置去人特定プログラム | |
US11640712B2 (en) | Information processing apparatus, video image summarization method, and storage medium | |
Henderson et al. | Feature correspondence in low quality CCTV videos | |
Fang et al. | A system based on sequence learning for event detection in surveillance video | |
Lee | Semi-Supervised Tracking of Multiple Identical Objects With Occlusions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7174796 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |