JP2020071876A - 人員捜索方法と装置及び画像処理装置 - Google Patents

人員捜索方法と装置及び画像処理装置 Download PDF

Info

Publication number
JP2020071876A
JP2020071876A JP2019191915A JP2019191915A JP2020071876A JP 2020071876 A JP2020071876 A JP 2020071876A JP 2019191915 A JP2019191915 A JP 2019191915A JP 2019191915 A JP2019191915 A JP 2019191915A JP 2020071876 A JP2020071876 A JP 2020071876A
Authority
JP
Japan
Prior art keywords
personnel
search
attribute information
candidate
candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019191915A
Other languages
English (en)
Inventor
ジュ・シエヌタヌ
Xiantan Zhu
タヌ・ジミン
Tan Zhiming
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2020071876A publication Critical patent/JP2020071876A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】本発明は、人員捜索方法と装置及び画像処理装置を提供する。【解決手段】かかる方法は、参照画像に対して人物検出を行い、捜索待ち人員を確定し、前記捜索待ち人員の属性情報を取得し；少なくとも１つの監視カメラ画像に対して人物検出を行い、すべての候補者を確定し、すべての候補者の属性情報を取得し；前記捜索待ち人員の属性情報及び各候補者の属性情報に基づいて、各候補者のマッチングスコアを計算し、前記マッチングスコアの大から小への順序に従って所定数の候補者を選択し；及び、前記捜索待ち人員と、選択された各候補者との類似度を計算し、選択された前記候補者のうち、前記捜索待ち人員との類似度が最も高い候補者を前記捜索待ち人員とすることを含む。【選択図】図１

Description

本発明は、画像処理技術分野に関し、特に、人員捜索方法と装置及び画像処理装置に関する。
人員捜索（person searching）とは、複数のビデオカメラの中から所定人員（不審者ともいう）を捜索し、位置（location）及び対応するビデオカメラの標識（ＩＤ）を特定することを指す。
人員捜索の応用範囲が広く、例えば、迷子の探し、犯罪者の捜索、ビデオカメラ間の人員の追跡、人員の活動の分析などが挙げられる。人員捜索技術では、多くのチャレンジがあり、例えば、人体姿勢の複雑な変化、カメラの視点、照明、遮蔽、解像度、背景の乱雑点などが挙げられる。
なお、上述の背景技術についての紹介は、本発明の技術案を明確且つ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術の一部に記述されているため、当業者にとって周知であると解釈すべきではない。
本発明の発明者が次のようなことを発見した。即ち、今のところ、人員捜索のための人物再同定方法（person re-identification method）が大量存在するが、これらの方法では、トリミングした人物画像を用いて、不審者及び候補者のみに対して検索を行うことに注目する。よって、これらの方法は、画像全体の中で不審者を捜索するに適しない。
上述のような問題を解決するために、本発明は、監視カメラ画像から捜索待ち人員を見つけることができる人員捜索方法と装置及び画像処理装置を提供することを課題とする。
本発明の実施例の第一側面によれば、人員捜索方法が提供され、前記方法は、
参照画像に対して人物検出を行い、捜索待ち人員を確定し、前記捜索待ち人員の属性情報を取得し；
少なくとも１つの監視カメラ画像に対して人物検出を行い、すべての候補者を確定し、すべての候補者の属性情報を取得し；
前記捜索待ち人員の属性情報及び各候補者の属性情報に基づいて、各候補者のマッチングスコアを計算し、前記マッチングスコアの大から小への順序に従って所定数の候補者を選択し；及び
前記捜索待ち人員と、選択された各候補者との類似度を計算し、選択された前記候補者のうち、前記捜索待ち人員との類似度が最も高い候補者を前記捜索待ち人員とすることを含む。
また、本発明の実施例の第二側面によれば、人員捜索装置が提供され、前記装置は、
第一検出ユニットであって、参照画像に対して人物検出を行い、捜索待ち人員を確定し、前記捜索待ち人員の属性情報を取得するもの；
第二検出ユニットであって、少なくとも１つの監視カメラ画像に対して人物検出を行い、すべての候補者を確定し、すべての候補者の属性情報を取得するもの；
選択ユニットであって、前記捜索待ち人員の属性情報及び各候補者の属性情報に基づいて、各候補者のマッチングスコアを計算し、前記マッチングスコアの大から小への順序に従って所定数の候補者を選択するもの；及び
確定ユニットであって、前記捜索待ち人員と、選択された各候補者との類似度を計算し、選択された前記候補者のうち、前記捜索待ち人員との類似度が最も高い候補者を前記捜索待ち人員とするものを含む。
また、本発明の実施例の第三側面によれば、画像処理装置が提供され、前記画像処理装置は、前述の第二側面に記載のような人員捜索装置を含む。
また、本発明の実施例の第四側面によれば、コンピュータ可読プログラムが提供され、人員捜索装置又は画像処理装置中で前記プログラムを実行するときに、前記プログラムは、前記人員捜索装置又は画像処理装置に、本発明の実施例の第一側面に記載のような人員捜索方法を実行させる。
また、本発明の実施例の第五側面によれば、コンピュータ可読プログラムを記憶した記憶媒体が提供され、前記コンピュータ可読プログラムは、人員捜索装置又は画像処理装置に、本発明実施例の第一側面に記載のような人員捜索方法を実行させる。
本発明の実施例の有益な効果は、人物検出及び２ステップの検索を行うことにより、監視カメラ画像の中から捜索待ち人員を見つけることができる。
なお、「含む／有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、１つの又は複数の他の特徴、要素、ステップ、又はアセンブリの存在又は付加を排除しないということも指す。
実施例1における人員捜索方法の１つの実施方式を示す図である。 魚眼カメラ画像の一例を示す図である。 図2中の魚眼カメラ画像に対して魚眼除去処理を行った後の様子を示す図である。 捜索待ち人員（不審者）の一例を示す図である。 図4に示す不審者の属性情報に基づいて候補者のマッチングスコアを計算することにより確定された３人の候補者を示す図である。 不審者と候補者との類似度を計算することにより確定された不審者を示す図である。 実施例2における人員捜索装置の１つの実施方式を示す図である。 実施例3における画像処理装置を示す図である。
以下、添付した図面を参照しながら、本発明を実施するための好適な実施形態を詳しく説明する。
本実施例は、人員捜索方法を提供する。図1は、本発明の実施例1における人員捜索方法の１つの実施方式を示す図である。図1に示すように、該方法は、以下のステップを含む。
ステップ101：参照画像に対して人物検出を行い、捜索待ち人員を確定し、前記捜索待ち人員の属性情報を取得し；
ステップ102：少なくとも１つの監視カメラ画像に対して人物検出を行い、すべての候補者を確定し、すべての候補者の属性情報を取得し；
ステップ103：前記捜索待ち人員の属性情報及び各候補者の属性情報に基づいて、各候補者のマッチングスコアを計算し、前記マッチングスコアの大から小への順序に従って所定数の候補者を選択し；
ステップ104：前記捜索待ち人員と、選択された各候補者との類似度を計算し、選択された前記候補者のうち、前記捜索待ち人員との類似度が最も高い候補者を前記捜索待ち人員とする。
本実施例では、人物検出により監視カメラ画像の中から候補者を見つけ、捜索待ち人員と候補者との属性情報に基づいて所定数の候補者を選択し（第一ステップの検索）、そして、捜索待ち人員と選択された候補者との高次元特徴に基づいて、最終的に、候補者のうちから捜索待ち人員を確定する（第二ステップの検索）。これにより、人物検出及び２ステップの検索を行うことだけで、監視カメラ画像の中から捜索待ち人員を見つけることができ、人員捜索の正確性を向上させ、計算の複雑度を低減することができる。
本実施例のステップ101では、上述の参照画像は、予め撮った写真によるものであっても良く、予め撮った写真による画像の中から捜索待ち人員を検出することは、失踪者、容疑者などの捜索に適する。なお、本実施例は、これに限られず、上述の参照画像は、監視カメラ画像であっても良く、監視カメラ画像の中から捜索待ち人員を検出することは、ビデオカメラ間の人員追跡や人員の活動の分析に適する。本実施例の捜索待ち人員は、不審者（query）とも称される。
本実施例のステップ102では、上述の監視カメラ画像は、任意の位置に設けられるビデオカメラが撮った画像であっても良く、例えば、ホテルの廊下、オフィス、道端、ショッピングモールなどの場所に設置されるビデオカメラが撮った画像であっても良い。また、該監視カメラ画像は、２次元の平面画像であっても良く、最近流行っている魚眼カメラ画像であっても良い。
該監視カメラ画像が２次元の平面画像であれば、ステップ102では、直接、該画像に対して人物検出を行うことで、すべての候補者（Candidate）を確定することができ、該監視カメラ画像が魚眼カメラ画像であれば、ステップ102の前に、さらに、画像の魚眼除去処理を行い、魚眼除去後の監視カメラ画像を取得しても良く、これにより、ステップ102では、魚眼除去後の監視カメラ画像に対して人物検出を行うことができる。
図2は、魚眼カメラ画像の一例を示す図である。図2に示すように、該魚眼カメラ画像に対して人物検出を行うことで、４人の人物が検出され、それぞれ、矩形状の枠で示されている。魚眼カメラ画像の特徴が原因で、得られた魚眼カメラ画像のうち、大多数の人物を成功裏に検出することができず、ある人物の方向が逆になる場合もあり、そのため、画像中のすべての人物を得るために、本実施例では、該魚眼カメラ画像に対して魚眼除去処理（de-fish operation）を行う必要がある。
図3は、図2に示す魚眼カメラ画像に対して魚眼除去処理を行った後の様子を示す図である。図3に示すように、図2に示す魚眼カメラ画像に対して魚眼除去処理を行った後に、該魚眼除去後の画像に対して人物検出を行うことで、図3に示すような結果を得ることができる。図3から分かるように、２０人以上の人物が見つかり、それぞれ、矩形状の枠で示されており、また、すべての人物は、直立するものである。
本実施例では、魚眼除去処理の方法について限定せず、従来の任意の処理方法を採用しても良いので、ここでは、その詳しい説明を省略する。
また、本実施例では、人物の検出方法についても限定せず、例えば、FPN（Feature Pyramid Net）方法により人物の検出を行っても良く、又は、SSD（Single Shot MultiBox Detector）、YOLO（You Look Only Once）などの他の方法を採用しても良いが、ここでは、その詳細な説明を省略する。
本実施例のステップ101及びステップ102では、人物検出により画像中の捜索待ち人員及びすべての候補者を得た後に、該画像の中から該捜索待ち人員及びすべての候補者の属性情報を抽出することができる。
本実施例では、属性情報は、人物の特徴を表すことができる情報、例えば、衣服の種類、衣服のカラー、髪型、髪の色、身長、体型などである。便宜のため、本実施例では、トップ（上半身に着るもの）の類型、ボトム（下半身に着るもの）の類型、トップの色及びボトムの色を人物の４種類の属性情報とする。トップの類型及びボトムの類型に関しては、大体、次のように９種類に分けることができ、即ち、ジャケット（up_Jacket）、ロングシャツ（up_Longshirts）、ショートシャツ（up_Shortshirts）、スーツ（up_Suit）、コート（up_Coat）、パンツ（low_Pants）、スカート（low_Skirts）、ショートパンツ（low_Shorts）である。トップの色及びボトムの色に関しては、大体、次のように１０種類に分けることができ、即ち、黒色（black）、青色（blue）、緑色（green）、赤色（red）、灰色（gray）、白色（white）、黄色（yellow）、紫色（purple）、ピンク色（pink）及び未知色（unknown）である。なお、このような属性情報の分類及び各種類の属性情報に含まれる指標は、例示に過ぎず、具体的な実施に当たっては、検出精度の要求に応じて、属性の種類又は各属性の指標を増減することもでき、本実施例では、これについて限定しない。
本実施例では、画像中の捜索待ち人員及び候補者を得た後に、上述の属性の種類に従って、該画像の中から該人物の属性情報を抽出することができる。例えば、該画像中の該人物を上半分と下半分に分け、その後、CNN（Convolutional Neural Network）モデルを用いて分類を行うことで、該人物の上述のような属性情報を得ることができる。
図4は、ある不審者（Query）を示す図である。図4に示すように、該画像中の枠内の人物を不審者とするときに、該画像の中から抽出した該人物の属性情報は、up_Longshirts、low_Pants、up_white及びlow_blackであっても良い。
本実施例ではさ、該画像の中から該人物の属性情報を取得する方法について限定せず、例えば、前述のCNNモデルを用いて取得しても良く、他の方法により取得しても良い。
本実施例のステップ103では、捜索待ち人員の属性情報に基づいて、各候補者の該属性情報の確率を抽出し、その後、該属性情報の確率と、該属性情報に対応する重み（weight）との乗積を該候補者のマッチングスコアとすることができる。
本実施例では、各候補者が各属性の各指標について１つの確率を有し、これにより、捜索待ち人員の属性情報に基づいて、各候補者の確率のうちから該属性情報の指標に対応する確率を抽出し、該確率と、該指標に対応する重みとの乗積を該候補者のマッチングスコアとすることができる。
再び図4を例とし、該捜索待ち人員の属性情報は、up_Longshirts、low_Pants、up_white及びlow_blackである。該属性情報に基づいて、各属性について、例えば、up_Longshirtsについて、候補者の“トップの類型がロングシャツである”確率を抽出し、該確率と、“トップの類型がロングシャツである”に対応する重みとの乗積を該属性のマッチングスコアとし、また、他の３つの属性についても同様の処理を行い、これにより、該候補者のマッチングスコアを得ることができる。
例えば、該マッチングスコアは、以下の式に基づいて計算することにより得ることができる。
Figure 2020071876
ここで、piは、該候補者の第i個目の属性の確率であり、wiは、第i個目の属性の重みであり、iは、属性情報のうちの各属性の順番号であり、nは、属性の総数であり、この例では、nは4であり、即ち、４つの属性がある。
なお、上述の式は、例示に過ぎず、他の方法により各候補者のマッチングスコアを得ても良い。候補者のマッチングスコアが高いほど、該候補者が捜索待ち人員になる可能性が大きい。よって、本実施例では、マッチングスコアの大から小への順序に従って所定数の候補者を選択してから検索を行う。ここでは、選択される候補者の数について限定せず、ニーズに応じて決定しても良い。
再び図4を例とし、図4から検出された人物を捜索待ち人員とし、その属性情報に基づいてすべての候補者に対して選択を行うことで、３つのマッチングスコアが最も高い候補者が得られ、図5に示すように、それぞれ、C1、C2及びC3と記され、それらのマッチングスコアは、それぞれ、0.814、0.5及び0.327である。
本実施例のステップ104では、捜索待ち人員と、選択された幾つかの可能性が大きい候補者との類似度を計算することで、この幾つかの候補者のうちから捜索待ち人員を見つけることができる。
１つの実施方式では、該捜索待ち人員及び選択されたすべての候補者の高次元特徴を取得し、捜索待ち人員と、選択された各候補者との高次元特徴に基づいて、捜索待ち人員と、選択された各候補者との高次元特徴の類似度を計算することができる。
本実施方式では、上述の高次元特徴は、CaffeNetモデルの全結合の特徴であっても良く、捜索待ち人員と、選択された各候補者との間のコサイン類似度を計算することにより、複数の類似度を並び替え、そして、類似度が最も高い結果を最後の結果、即ち、該捜索待ち人員として出力することができる。
例えば、該類似度は、以下の式に基づいて計算することにより取得することができる。
Figure 2020071876
ここで、iは、選択された候補者の順番号であり、Qは、捜索待ち人員の高次元特徴であり、Ciは、選択された候補者の高次元特徴であり、mは、選択された候補者の総数であり、jは、類似度が最も高い候補者の索引（index）である。
なお、上述の式は、例示に過ぎず、他の方法により捜索待ち人員と候補者との類似度を計算しても良い。類似度が大きいほど、該候補者が該捜索待ち人員になる可能性が大きい。よって、本実施例では、類似度が最大である候補者を結果として出力する。
再び図4に示す捜索待ち人員（Query）及び図5に示す候補者C1、C2及びC3を例とし、この例では、３人の候補者が存在し、即ち、mは3であり、本実施例では、捜索待ち人員及びこの３人の候補者の高次元特徴を抽出し、捜索待ち人員と各候補者との類似度を計算し、類似度が最も高い候補者を結果として出力し、図6に示すように、この例では、j=C1である。
本実施例によれば、人物検出及び２ステップの検索を行うことで、監視カメラ画像の中から捜索待ち人員を見つけることができる。
本実施例は、人員捜索装置を提供する。該装置が問題を解決する原理が実施例1の方法と類似しているため、その具体的な実施は、実施例1の方法を参照することができ、また、内容が同じである重複説明は、省略される。
図7は、本実施例における人員捜索装置700を示す図である。図7に示すように、該人員捜索装置700は、第一検出ユニット701、第二検出ユニット702、選択ユニット703及び確定ユニット704を含み、該第一検出ユニット701は、参照画像に対して人物検出を行い、捜索待ち人員を確定し、前記捜索待ち人員の属性情報を取得し、該第二検出ユニット702は、少なくとも１つの監視カメラ画像に対して人物検出を行い、すべての候補者を確定し、すべての候補者の属性情報を取得し、該選択ユニット703は、前記捜索待ち人員の属性情報及び各候補者の属性情報に基づいて、各候補者のマッチングスコアを計算し、前記マッチングスコアの大から小への順序に従って所定数の候補者を選択し、該確定ユニット704は、前記捜索待ち人員と、選択された各候補者との類似度を計算し、選択された前記候補者のうち、前記捜索待ち人員との類似度が最も高い候補者を前記捜索待ち人員とする。
本実施例では、参照画像は、予め撮った写真による画像又は監視カメラ画像であっても良い。本実施例では、これについて限定しない。
本実施例では、上述の監視カメラ画像は、魚眼カメラ画像であっても良く、この場合、図7に示すように、該人員捜索装置700は、さらに、以下のものを含んでも良い。
処理ユニット705：前記監視カメラ画像に対して魚眼除去処理を行い、魚眼除去後の監視カメラ画像を取得し、これにより、前記第二検出ユニットは、前記魚眼除去後の監視カメラ画像に対して前記人物検出を行うことができる。
本実施例では、上述の属性情報は、上述のように、トップの類型、ボトムの類型、トップの色、及びボトムの色を含んでも良い。
本実施例の１つの実施方式では、選択ユニット703は、前記捜索待ち人員の属性情報に基づいて、各候補者の前記属性情報の確率を抽出し、前記属性情報の確率と、該属性情報に対応する重みとの乗積を前記候補者のマッチングスコアとすることができる。
例えば、選択ユニット703は、以下の式で各候補者のマッチングスコアを計算することができる。
Figure 2020071876
ここで、piは、前記候補者の第i個目の属性の確率であり、wiは、前記第i個目の属性の重みであり、iは、属性情報のうちの各属性の順番号であり、nは、属性の総数である。
本実施例の１つの実施方式では、確定ユニット704は、前記捜索待ち人員及び選択されたすべての候補者の高次元特徴を取得し、捜索待ち人員と、選択された各候補者との高次元特徴に基づいて、捜索待ち人員と、選択された各候補者との高次元特徴の類似度を計算することができる。
例えば、確定ユニット704は、以下の式に基づいて上述の類似度を計算することができる。
Figure 2020071876
ここで、iは、選択された候補者の順番号であり、Qは、捜索待ち人員の高次元特徴であり、Ciは、選択された候補者の高次元特徴であり、mは、選択された候補者の総数である。
本実施例では、人物検出及び２ステップの検索を行うにより、監視カメラ画像の中から捜索待ち人員を見つけることができる。
本実施例は、画像処理装置を提供する。該画像処理装置は、実施例2に記載のような人員捜索装置を含む。
図8は、本実施例における画像処理装置を示す図である。図8に示すように、画像処理装置800は、中央処理装置（CPU）801及び記憶器802を含んでも良く、記憶器802は、中央処理装置801に接続される。そのうち、該記憶器802は、各種のデータを記憶することができ、また、情報処理用のプログラムを記憶することもでき、中央処理装置801の制御下で該プログラムを実行することもできる。
１つの実施方式では、人員捜索装置700の機能は、中央処理装置801に集積することができる。そのうち、中央処理装置801は、実施例1に記載のような人員捜索方法を実現するように構成されても良い。
もう１つの実施方式では、人員捜索装置700は、中央処理装置801と別々で配置されても良く、例えば、人員捜索装置700は、中央処理装置801に接続されるチップとして構成され、中央処理装置801の制御により人員捜索装置700の機能を実現することができる。
本実施例では、中央処理装置801は、次のような制御を行うように構成されても良く、即ち、参照画像に対して人物検出を行い、捜索待ち人員を確定し、前記捜索待ち人員の属性情報を取得し；少なくとも１つの監視カメラ画像に対して人物検出を行い、すべての候補者を確定し、すべての候補者の属性情報を取得し；前記捜索待ち人員の属性情報及び各候補者の属性情報に基づいて、各候補者のマッチングスコアを計算し、前記マッチングスコアの大から小への順序に従って所定数の候補者を選択し；及び、前記捜索待ち人員と、選択された各候補者との類似度を計算し、選択された前記候補者のうち、前記捜索待ち人員との類似度が最も高い候補者を前記捜索待ち人員とする。
また、図8に示すように、画像処理装置800は、さらに、入出力（I/O）装置803、表示器804などを有しても良く、そのうち、これらの部品の機能が従来技術と同様であるため、ここでは、その詳しい説明を省略する。なお、画像処理装置800は、図8中のすべての部品を含む必要がない。また、画像処理装置800は、さらに、図8に無い部品を含んでも良く、これについては、従来技術を参照することができる。
また、本発明の実施例は、コンピュータ可読プログラムを提供し、そのうち、人員捜索装置又は画像処理装置中で前記プログラムを実行するときに、前記プログラムは、前記人員捜索装置又は画像処理装置に、実施例1に記載のような方法を実行させることができる。
また、本発明の実施例は、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、人員捜索装置又は画像処理装置に、実施例1に記載のような方法を実行させることができる。
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行されるときに、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フレッシュメモリなどにも関する。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (10)

  1. 人員捜索装置であって、
    参照画像に対して人物検出を行い、捜索待ち人員を確定し、前記捜索待ち人員の属性情報を取得するための第一検出ユニット；
    少なくとも１つの監視カメラ画像に対して人物検出を行い、すべての候補者を確定し、すべての候補者の属性情報を取得するための第二検出ユニット；
    前記捜索待ち人員の属性情報及び各候補者の属性情報に基づいて、各候補者のマッチングスコアを計算し、前記マッチングスコアの大から小への順序に従って所定数の候補者を選択するための選択ユニット；及び
    前記捜索待ち人員と、選択された各候補者との類似度を計算し、選択された前記候補者のうち、前記捜索待ち人員との類似度が最も高い候補者を前記捜索待ち人員とするための確定ユニットを含む、人員捜索装置。
  2. 請求項1に記載の人員捜索装置であって、
    前記参照画像は、予め撮った写真による画像又は監視カメラ画像である、人員捜索装置。
  3. 請求項1に記載の人員捜索装置であって、
    前記監視カメラ画像は、魚眼カメラ画像であり、
    前記人員捜索装置は、前記監視カメラ画像に対して魚眼除去処理を行い、魚眼除去後の監視カメラ画像を得るための処理ユニットをさらに含み、
    前記第二検出ユニットは、前記魚眼除去後の監視カメラ画像に対して前記人物検出を行う、人員捜索装置。
  4. 請求項1に記載の人員捜索装置であって、
    前記属性情報は、トップの類型、ボトムの類型、トップの色、及びボトムの色である、人員捜索装置。
  5. 請求項1に記載の人員捜索装置であって、
    前記選択ユニットは、前記捜索待ち人員の属性情報に基づいて、各候補者の前記属性情報の確率を抽出し、前記属性情報の確率と、該属性情報に対応する重みとの乗積を前記候補者のマッチングスコアとする、人員捜索装置。
  6. 請求項5に記載の人員捜索装置であって、
    前記選択ユニットは、
    Figure 2020071876
    に基づいて、各候補者のマッチングスコアを計算し、
    ここで、piは、前記候補者の第i個目の属性の確率であり、wiは、前記第i個目の属性の重みであり、iは、属性情報のうちの各属性の順番号であり、nは、属性の総数である、人員捜索装置。
  7. 請求項1に記載の人員捜索装置であって、
    前記確定ユニットは、前記捜索待ち人員及び選択されたすべての候補者の高次元特徴を取得し、捜索待ち人員及び選択された各候補者の高次元特徴に基づいて、捜索待ち人員と、選択された各候補者との高次元特徴の類似度を計算する、人員捜索装置。
  8. 請求項7に記載の人員捜索装置であって、
    前記確定ユニットは、
    Figure 2020071876
    に基づいて、前記類似度を計算し、
    ここで、iは、選択された候補者の順番号であり、Qは、捜索待ち人員の高次元特徴であり、Ciは、選択された候補者の高次元特徴であり、mは、選択された候補者の総数である、人員捜索装置。
  9. 請求項1-8のうちの任意の1項に記載の人員捜索装置を含む、画像処理装置。
  10. 人員捜索方法であって、
    参照画像に対して人物検出を行い、捜索待ち人員を確定し、前記捜索待ち人員の属性情報を取得し；
    少なくとも１つの監視カメラ画像に対して人物検出を行い、すべての候補者を確定し、すべての候補者の属性情報を取得し；
    前記捜索待ち人員の属性情報及び各候補者の属性情報に基づいて、各候補者のマッチングスコアを計算し、前記マッチングスコアの大から小への順序に従って所定数の候補者を選択し；及び
    前記捜索待ち人員と、選択された各候補者との類似度を計算し、選択された前記候補者のうち、前記捜索待ち人員との類似度が最も高い候補者を前記捜索待ち人員とすることを含む、人員捜索方法。
JP2019191915A 2018-10-30 2019-10-21 人員捜索方法と装置及び画像処理装置 Pending JP2020071876A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811275884.6 2018-10-30
CN201811275884.6A CN111126102A (zh) 2018-10-30 2018-10-30 人员搜索方法、装置及图像处理设备

Publications (1)

Publication Number Publication Date
JP2020071876A true JP2020071876A (ja) 2020-05-07

Family

ID=68281021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019191915A Pending JP2020071876A (ja) 2018-10-30 2019-10-21 人員捜索方法と装置及び画像処理装置

Country Status (4)

Country Link
US (1) US11068707B2 (ja)
EP (1) EP3647997A1 (ja)
JP (1) JP2020071876A (ja)
CN (1) CN111126102A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897993A (zh) * 2020-07-20 2020-11-06 杭州叙简科技股份有限公司 一种基于行人再识别的高效目标人物轨迹生成方法
CN112668483B (zh) * 2020-12-30 2022-06-10 福州大学 一种融合行人重识别和人脸检测的单目标人物跟踪方法
US20220253988A1 (en) * 2021-02-05 2022-08-11 Motorola Solutions, Inc. Device, method and system for identifying objects in warped images from a fisheye camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100369A (ja) * 2003-09-02 2005-04-14 Fuji Photo Film Co Ltd 認証システム、及びプログラム
JP2010257441A (ja) * 2009-04-21 2010-11-11 Nec Soft Ltd 人物追跡装置及び人物追跡方法並びに人物追跡処理プログラム
JP2012234500A (ja) * 2011-05-09 2012-11-29 Canon Inc パターン識別装置、パターン識別方法およびプログラム
JP2016201758A (ja) * 2015-04-14 2016-12-01 パナソニックＩｐマネジメント株式会社 施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法
WO2018143341A1 (ja) * 2017-02-01 2018-08-09 シャープ株式会社 監視装置、監視システム、監視方法及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5176572B2 (ja) * 2008-02-05 2013-04-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN201825966U (zh) 2010-10-29 2011-05-11 中冶东方工程技术有限公司 一种钢包渣罐混装车
CN102592148A (zh) * 2011-12-29 2012-07-18 华南师范大学 基于非负矩阵分解和多种距离函数的人脸识别方法
GB2500417B8 (en) * 2012-03-21 2017-06-07 Sony Computer Entertainment Europe Ltd Camera device, system and method of imaging
US9396412B2 (en) * 2012-06-21 2016-07-19 Siemens Aktiengesellschaft Machine-learnt person re-identification
JP2014016968A (ja) * 2012-07-11 2014-01-30 Toshiba Corp 人物検索装置及びデータ収集装置
CN103970771B (zh) * 2013-01-29 2016-12-28 中国科学院计算技术研究所 一种人体的检索方法和系统
US9721166B2 (en) * 2013-05-05 2017-08-01 Qognify Ltd. System and method for identifying a particular human in images using an artificial image composite or avatar
CN103744887B (zh) * 2013-12-23 2017-09-15 北京百度网讯科技有限公司 一种用于人物搜索的方法、装置和计算机设备
SG11201607547UA (en) * 2014-03-14 2016-11-29 Hitachi Int Electric Inc Video monitoring support apparatus, video monitoring support method, and storage medium
JP6344984B2 (ja) * 2014-06-09 2018-06-20 キヤノン株式会社 人物推定装置、人物推定方法及びプログラム
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置
CN105117692A (zh) 2015-08-05 2015-12-02 福州瑞芯微电子股份有限公司 一种基于深度学习的实时人脸识别方法及系统
CN106682612B (zh) 2016-12-26 2021-01-15 宇龙计算机通信科技(深圳)有限公司 一种基于图像识别的报警方法、终端、服务器及系统
CN106682650A (zh) 2017-01-26 2017-05-17 北京中科神探科技有限公司 基于嵌入式深度学习技术的移动终端人脸识别方法和系统
CN108288208B (zh) * 2017-08-11 2020-08-28 腾讯科技（深圳）有限公司 基于图像内容的展示对象确定方法、装置、介质及设备
CN107516127B (zh) 2017-08-21 2020-06-30 山东大学 服务机器人自主获取人穿携物品归属语义的方法及系统
CN108197574B (zh) * 2018-01-04 2020-09-08 张永刚 人物风格识别方法、终端及计算机可读存储介质
CN108257178B (zh) * 2018-01-19 2020-08-04 百度在线网络技术（北京）有限公司 用于定位目标人体的位置的方法和装置
US10846554B2 (en) * 2018-07-17 2020-11-24 Avigilon Corporation Hash-based appearance search

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100369A (ja) * 2003-09-02 2005-04-14 Fuji Photo Film Co Ltd 認証システム、及びプログラム
JP2010257441A (ja) * 2009-04-21 2010-11-11 Nec Soft Ltd 人物追跡装置及び人物追跡方法並びに人物追跡処理プログラム
JP2012234500A (ja) * 2011-05-09 2012-11-29 Canon Inc パターン識別装置、パターン識別方法およびプログラム
JP2016201758A (ja) * 2015-04-14 2016-12-01 パナソニックＩｐマネジメント株式会社 施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法
WO2018143341A1 (ja) * 2017-02-01 2018-08-09 シャープ株式会社 監視装置、監視システム、監視方法及びプログラム

Also Published As

Publication number Publication date
US11068707B2 (en) 2021-07-20
US20200134306A1 (en) 2020-04-30
EP3647997A1 (en) 2020-05-06
CN111126102A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
An et al. Performance evaluation of model-based gait on multi-view very large population database with pose sequences
CN108052896B (zh) 基于卷积神经网络与支持向量机的人体行为识别方法
WO2021227726A1 (zh) 面部检测、图像检测神经网络训练方法、装置和设备
Ding et al. Crowd density estimation using fusion of multi-layer features
JP2020071876A (ja) 人員捜索方法と装置及び画像処理装置
CN109635686A (zh) 结合人脸与外观的两阶段行人搜索方法
JP2019109709A (ja) 画像処理装置、画像処理方法およびプログラム
Sharif et al. Intelligent human action recognition: A framework of optimal features selection based on Euclidean distance and strong correlation
WO2022156317A1 (zh) 视频帧处理方法及装置、电子设备和存储介质
Anvar et al. Multiview face detection and registration requiring minimal manual intervention
CN112541421A (zh) 一种开放空间的行人换装重识别方法
Ballotta et al. Fully convolutional network for head detection with depth images
Ren et al. An investigation of skeleton-based optical flow-guided features for 3D action recognition using a multi-stream CNN model
Zhang et al. Two-stream RGB-D human detection algorithm based on RFB network
Guo et al. Mgtr: End-to-end mutual gaze detection with transformer
Gao et al. Occluded person re-identification based on feature fusion and sparse reconstruction
Yuan et al. Ear detection based on CenterNet
Varga et al. Person re-identification based on deep multi-instance learning
Shf et al. Review on deep based object detection
CN116994319A (zh) 训练模型的方法和人脸识别方法、设备、介质
Huang et al. Whole-body detection, recognition and identification at altitude and range
Padmashini et al. Vision based algorithm for people counting using deep learning
Chahyati et al. Man woman detection in surveillance images
Li An improved face detection method based on face recognition application
Wang et al. Ear detection using fully convolutional networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230714

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231031