JP2020086899A - オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラム - Google Patents

オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラム Download PDF

Info

Publication number
JP2020086899A
JP2020086899A JP2018220120A JP2018220120A JP2020086899A JP 2020086899 A JP2020086899 A JP 2020086899A JP 2018220120 A JP2018220120 A JP 2018220120A JP 2018220120 A JP2018220120 A JP 2018220120A JP 2020086899 A JP2020086899 A JP 2020086899A
Authority
JP
Japan
Prior art keywords
area
model
distance
specified
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018220120A
Other languages
English (en)
Other versions
JP6991955B2 (ja
Inventor
有哉 巻渕
Yuya Makibuchi
有哉 巻渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2018220120A priority Critical patent/JP6991955B2/ja
Publication of JP2020086899A publication Critical patent/JP2020086899A/ja
Application granted granted Critical
Publication of JP6991955B2 publication Critical patent/JP6991955B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】撮像装置の種類及び撮像角度に関わらず、オブジェクトの位置の特定精度を向上する。【解決手段】オブジェクト位置特定装置1は、所定エリアの撮像画像に映るオブジェクトを示す第1領域である第1オブジェクト領域と、第1領域と異なる第2領域である第2オブジェクト領域とを特定するオブジェクト領域特定部122と、オブジェクトを模した三次元モデルを所定エリア内の複数の位置のそれぞれに配置した場合に撮像画像に映る三次元モデルの投影領域のうち、第1領域に対応する第1モデル領域と第2領域に対応する第2モデル領域との対応関係に基づいて、特定された第1オブジェクト領域との距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定するモデル領域特定部124と、特定された第2オブジェクト領域と特定された第2モデル領域との距離が第1の閾値以下である場合に、オブジェクトの位置を特定する位置特定部125と、を備える。【選択図】図2

Description

本発明は、オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラムに関する。
従来、マーケティングや監視等を目的として、店舗内等の所定エリアに設置されている撮像装置により撮像した画像を解析して、所定エリアに存在する人物の位置を特定する技術が開発されている。
特許文献1には、全方位カメラにより所定エリアを撮像した撮像画像を解析して人物の位置を特定する画像解析装置が開示されている。特許文献1に記載の画像解析装置は、人物の三次元モデルを所定エリアの一以上の位置に配置した際の当該三次元モデルの撮像画像への投影領域と、当該配置した位置との対応関係を特定しておき、撮像画像内から検出した人物の領域と、当該投影領域とをマッチングすることで、対応する人物位置を特定する。本方式は、斜め下方向を撮像した撮像画像だけでなく、真下方向を撮像した撮像画像にも適用できるという特長がある。
非特許文献1には、撮像画像中から人物の全身領域と頭部領域との双方を検出し、検出した全身が示す領域と頭部を示す領域との相対的な位置関係を用いて、人物の過検出(False Positive)を抑制する方式が開示されている。
特開2017−117244号公報
Roberto Henschel, Laura Leal-Taixe, Daniel Cremers, Bodo Rosenhahn "Fusion of Head and Full-Body Detectors for Multi-Object Tracking", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pp.1428-1437(2018)
真下方向を撮像した撮像画像においては、撮像対象の人物の位置によって、人物の見た目が大きく変化するという特徴がある。図12は、複数のエリアの複数の位置における撮像対象の人物の映り具合の一例を示す図である。真下方向を撮像した撮像画像においては、図12に示すように、撮像対象の人物の位置によって、人物が傾いて写る場合や、人物の頭頂部のみが写る場合がある。このため、真下方向を撮像した撮像画像は、人物の検出精度が低いという問題がある。
他方、非特許文献1に開示の方式は、撮像対象の人物の全身を示す領域と頭部を示す領域との理想的な位置関係を事前に一意に特定しておく必要がある。図13は、撮像対象の人物の全身を示す領域と頭部を示す領域との理想的な位置関係を示す図である。図13に示す実線で囲まれた領域は、全身に対応する領域を示し、波線で囲まれた領域は、頭部に対応する領域を示している。
一方、図14は、真下方向を撮像した撮像画像で想定される全身と頭部との位置関係の例を示す図である。図14では、図13と同様に、実線で囲まれた領域は、全身に対応する領域を示し、波線で囲まれた領域は、頭部に対応する領域を示している。図14に示すように、真下方向を撮像した撮像画像では、全身を示す領域と頭部を示す領域との位置関係が人物の存在位置によって変化するため、非特許文献1の技術を適用できないという問題がある。
そこで、本発明はこれらの点に鑑みてなされたものであり、撮像装置の種類及び撮像角度に関わらず、オブジェクトの位置の特定精度を向上することができるオブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラムを提供することを目的とする。
本発明の第1の態様に係るオブジェクト位置特定装置は、所定エリアを撮像する撮像装置が撮像した撮像画像を取得する取得部と、前記撮像画像に映るオブジェクトを示す第1領域である第1オブジェクト領域と、前記撮像画像に映るオブジェクトを示し前記第1領域と異なる第2領域である第2オブジェクト領域とを特定するオブジェクト領域特定部と、前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第1領域に対応する複数の第1モデル領域と、前記第2領域に対応する複数の第2モデル領域との対応関係に基づいて、特定された前記第1オブジェクト領域に対する距離を示す第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定するモデル領域特定部と、特定された前記第2オブジェクト領域と、特定された前記第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、前記オブジェクトの位置を特定する位置特定部と、を備える。
前記モデル領域特定部は、前記対応関係に基づいて、特定された前記第1オブジェクト領域に対する前記第1の距離が相対的に小さい一以上の第1モデル領域に対応する一以上の第2モデル領域を特定し、前記位置特定部は、特定された一以上の第2モデル領域のそれぞれに対応する前記第2の距離のうち、相対的に短い第2の距離が、前記第1の閾値以下である場合に、前記オブジェクトの位置を特定してもよい。
前記オブジェクト位置特定装置は、前記三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合に前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第1モデル領域と、前記第2モデル領域との対応関係を特定する対応関係特定部をさらに備え、前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第1オブジェクト領域に対する前記第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定してもよい。
前記対応関係特定部は、前記オブジェクトが取り得る複数のサイズのそれぞれに対応する三次元モデルに対応する前記対応関係を特定し、前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第1オブジェクト領域に対する前記第1の距離が相対的に短い複数の第1モデル領域に対応する複数の第2モデル領域を特定してもよい。
前記対応関係特定部は、前記オブジェクトが取り得る複数の形状のそれぞれに対応する三次元モデルに対応する前記対応関係を特定し、前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第1オブジェクト領域に対する前記第1の距離が相対的に短い複数の第1モデル領域に対応する複数の第2モデル領域を特定してもよい。
前記対応関係特定部は、相対的に近い位置の複数の第1モデル領域に対応する前記対応関係を統合してもよい。
前記モデル領域特定部は、特定された前記第1オブジェクト領域と、前記第1モデル領域との重複率を算出し、当該重複率が大きければ大きいほど前記第1の距離が短くなるように前記第1の距離を算出してもよい。
前記モデル領域特定部は、前記第1オブジェクト領域を示す位置と、相対的に近い位置を有する一以上の前記第1モデル領域を特定し、特定した一以上の前記第1モデル領域のうち、特定された前記第1オブジェクト領域との前記第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定してもよい。
前記位置特定部は、特定された前記第2オブジェクト領域と、特定された前記第2モデル領域との重複率を算出し、当該重複率が大きければ大きいほど前記第2の距離が短くなるように前記第2の距離を算出してもよい。
前記オブジェクト領域特定部は、前記撮像画像に基づいて、一以上の前記第1オブジェクト領域と、一以上の前記第2オブジェクト領域とを特定し、前記位置特定部は、一以上の前記第2オブジェクト領域のそれぞれについて、一以上の前記第1オブジェクト領域との距離を示す第3の距離を特定し、一以上の前記第2オブジェクト領域のうち、相対的に短い前記第3の距離が第2の閾値以下であるとともに、前記第2モデル領域との前記第2の距離が前記第1の閾値以下の第2オブジェクト領域に対応する前記オブジェクトの位置を特定してもよい。
前記位置特定部は、一以上の前記第2オブジェクト領域のそれぞれについて、一以上の前記第1オブジェクト領域との距離を示す第3の距離を特定し、一以上の前記第2オブジェクト領域のうち、相対的に短い前記第3の距離が前記第2の閾値を超えるとともに、前記第2モデル領域との前記第2の距離が前記第1の閾値以下の第2オブジェクト領域に対応する前記オブジェクトの位置を特定してもよい。
前記位置特定部は、前記第2オブジェクト領域と前記第1オブジェクト領域との和集合に対する、前記第2オブジェクト領域の比率、及び前記第1オブジェクト領域の比率のうち、大きい比率を特定し、特定した当該比率が大きければ大きいほど前記第3の距離が短くなるように前記第3の距離を算出してもよい。
前記位置特定部は、特定された前記第2オブジェクト領域と、特定された前記第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、当該第2モデル領域に対応する前記三次元モデルの配置位置に基づいて、前記オブジェクトの前記所定エリアにおける位置を特定してもよい。
前記位置特定部は、特定された前記第2オブジェクト領域と、特定された前記第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、当該第2オブジェクト領域の前記撮像画像における位置、及び当該第2モデル領域の前記撮像画像における位置の少なくともいずれかに基づいて、前記オブジェクトの前記撮像画像における位置を特定してもよい。
本発明の第2の態様に係るオブジェクト位置特定方法は、コンピュータが実行する、所定エリアを撮像する撮像装置が撮像した撮像画像を取得するステップと、前記撮像画像に映るオブジェクトを示す第1領域である第1オブジェクト領域と、前記撮像画像に映るオブジェクトを示し前記第1領域と異なる第2領域である第2オブジェクト領域とを特定するステップと、前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第1領域に対応する複数の第1モデル領域と、前記第2領域に対応する複数の第2モデル領域との対応関係に基づいて、特定された前記第1オブジェクト領域に対する距離を示す第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定するステップと、特定された前記第2オブジェクト領域と、特定された前記第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、前記オブジェクトの位置を特定するステップと、を備える。
本発明の第3の態様に係るオブジェクト位置特定プログラムは、コンピュータを、所定エリアを撮像する撮像装置が撮像した撮像画像を取得する取得部、前記撮像画像に映るオブジェクトを示す第1領域である第1オブジェクト領域と、前記撮像画像に映るオブジェクトを示し前記第1領域と異なる第2領域である第2オブジェクト領域とを特定するオブジェクト領域特定部、前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第1領域に対応する複数の第1モデル領域と、前記第2領域に対応する複数の第2モデル領域との対応関係に基づいて、特定された前記第1オブジェクト領域に対する距離を示す第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定するモデル領域特定部、及び、特定された前記第2オブジェクト領域と、特定された前記第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、前記オブジェクトの位置を特定する位置特定部、として機能させる。
本発明によれば、撮像装置の種類及び撮像角度に関わらず、オブジェクトの位置の特定精度を向上することができるという効果を奏する。
本実施形態に係るオブジェクト位置特定装置の概要を示す図である。 本実施形態に係るオブジェクト位置特定装置の構成を示す図である。 本実施形態に係るオブジェクト位置特定装置における処理の流れを示すフローチャートである。 本実施形態に係る所定エリアの複数の位置のそれぞれにおけるオブジェクトと、当該オブジェクトの第1オブジェクト領域及び第2オブジェクト領域の関係を示す図である。 検出モデルを用いて、第1オブジェクト領域及び第2オブジェクト領域を特定した結果の一例を示す図である。 本実施形態に係る三次元モデルの一例を示す図である。 本実施形態に係る第1モデル領域と、第2モデル領域とを特定する例を示す図である。 本実施形態に係る異なるサイズの複数の三次元モデルの一例を示す図である。 同一の中心位置を有する第1モデル領域の一例を示す図である。 本実施形態に係るモデル領域特定部が、第2モデル領域を特定する例を説明する図である。 図5に示す第1オブジェクト領域及び第2オブジェクト領域を特定した結果に対して、第2モデル領域を特定した例を示す図である。 複数のエリアの複数の位置における撮像対象の人物の映り具合の一例を示す図である。 斜め下方向を撮像した撮像画像において想定される、撮像対象の人物の全身を示す領域と頭部を示す領域との理想的な位置関係を示す図である。 真下方向を撮像した撮像画像で想定される全身と頭部との位置関係の例を示す図である。
[オブジェクト位置特定装置1の概要]
図1は、本実施形態に係るオブジェクト位置特定装置1の概要を示す図である。オブジェクト位置特定装置1は、撮像装置が撮像した画像に映るオブジェクトの位置を特定するコンピュータである。撮像装置は、例えば、所定エリアの天井に設置され、真下方向を撮像する全方位カメラである。なお、本実施形態では、撮像装置が真下方向を撮像する全方位カメラであることとするが、これに限らない。撮像装置は、全方位カメラとは異なる通常のカメラであってもよく、撮像装置の撮像角度も、任意の角度であってもよい。
オブジェクト位置特定装置1は、撮像装置が撮像した所定エリアの撮像画像を取得する(図1の(1))。所定エリアは、例えば店舗内の空間である。オブジェクトは、例えば、所定エリア内を行動する店員や顧客である。
オブジェクト位置特定装置1は、撮像画像に映るオブジェクトを示す第1領域である第1オブジェクト領域と、撮像画像に映るオブジェクトを示し、第1領域と異なる第2領域である第2オブジェクト領域とを特定する(図1の(2))。図1では、撮像画像における破線の矩形領域が第1オブジェクト領域を示しており、実線の矩形領域が第2オブジェクト領域を示している。
オブジェクト位置特定装置1は、オブジェクトに対応する三次元モデルを、所定エリアを示す三次元空間の複数の位置のそれぞれに仮想的に配置した場合に撮像画像に映る三次元モデルの投影領域のうち、第1領域に対応する複数の第1モデル領域と、第2領域に対応する複数の第2モデル領域との対応関係に基づいて、特定した第1オブジェクト領域に対し、相対的に近い位置の第1モデル領域に対応する第2モデル領域を特定する(図1の(3))。ここで、対応関係としては、1つの第1モデル領域と、1つの第2モデル領域との関係を示す場合と、1つの第1モデル領域と、複数の第2モデル領域との関係を示す場合とがあるものとする。
オブジェクト位置特定装置1は、特定した第2オブジェクト領域と、特定した第2モデル領域との距離が第1の閾値以下の場合に、当該第2オブジェクト領域に対応するオブジェクトの位置を特定する(図1の(4))。
このようにすることで、オブジェクト位置特定装置1は、オブジェクトの第1領域と、第2領域との適切な位置関係を示す第1モデル領域と、第2モデル領域との対応関係に基づいて、撮像画像中で特定された第1オブジェクト領域と、第2オブジェクト領域との位置関係が適切である場合にオブジェクトの位置を特定することができる。
また、第1モデル領域と、第2モデル領域との対応関係は、撮像装置が撮像した撮像画像に対する三次元モデルの投影領域に基づいて規定されるものである。したがって、オブジェクト位置特定装置1は、撮像装置の種類及び撮像角度に関わらず、オブジェクトの位置の特定精度を維持することができる。
[オブジェクト位置特定装置1の構成]
続いて、オブジェクト位置特定装置1の構成を説明する。図2は、本実施形態に係るオブジェクト位置特定装置1の構成を示す図である。図2に示すように、オブジェクト位置特定装置1は、記憶部11と、制御部12とを備える。
記憶部11は、ROM(Read Only Memory)及びRAM(Random Access Memory)等を含む記憶媒体である。記憶部11は、制御部12が実行するプログラムを記憶している。例えば、記憶部11は、オブジェクト位置特定装置1を、取得部121、オブジェクト領域特定部122、対応関係特定部123、モデル領域特定部124、及び位置特定部125として機能させるオブジェクト位置特定プログラムを記憶している。
制御部12は、例えばCPU(Central Processing Unit)である。制御部12は、記憶部11に記憶されたオブジェクト位置特定プログラムを実行することにより、取得部121、オブジェクト領域特定部122、対応関係特定部123、モデル領域特定部124、及び位置特定部125として機能する。
以下、オブジェクト位置特定装置1における処理の流れを示す図3を参照しながら、取得部121、オブジェクト領域特定部122、対応関係特定部123、モデル領域特定部124、及び位置特定部125の詳細について説明する。図3は、本実施形態に係るオブジェクト位置特定装置1における処理の流れを示すフローチャートである。
取得部121は、所定エリアを撮像する撮像装置が撮像した撮像画像を取得する(S1)。例えば、撮像装置が撮像した所定エリアの撮像画像は、記憶部11に予め記憶されている。取得部121は、記憶部11に記憶されている撮像画像を取得する。
オブジェクト領域特定部122は、取得部121が取得した撮像画像に映るオブジェクトを示す第1領域である第1オブジェクト領域と、取得部121が取得した撮像画像に映るオブジェクトを示し、第1領域とは異なる第2領域である第2オブジェクト領域とを特定する(S2)。オブジェクト領域特定部122は、取得部121が取得した撮像画像から、第1オブジェクト領域と第2オブジェクト領域とを、一以上特定する。
ここで、第1領域は、例えばオブジェクトとしての人物の頭部を示す領域であり、第2領域は、人物の全身を示す領域である。第2領域のサイズは、第1領域を内包するサイズである。例えば、オブジェクト領域特定部122は、第1領域を示す矩形の中心位置を示す情報(u,v)と、当該矩形の横幅及び高さを示す情報(w,h)とから構成される4次元のベクトル(u,v,w,h)を特定することにより、第1オブジェクト領域を特定する。同様に、オブジェクト領域特定部122は、第2領域を示す矩形の中心位置を示す情報と、当該矩形の横幅及び高さを示す情報とから構成される4次元のベクトルを特定することにより、第2オブジェクト領域を特定する。なお、以下の説明において、矩形を示す4次元のベクトルを矩形情報ともいう。以下、各領域を矩形により表す場合を例として説明するが、オブジェクト領域特定部122は、他の任意の形状により各領域を特定してもよい。
オブジェクト領域特定部122は、撮像画像中の第1オブジェクト領域及び第2オブジェクト領域のそれぞれについて正解の矩形情報を付与して学習した機械学習(例えば、Support Vector Machine)や深層学習(例えば、Convolutional Neural Network)の検出モデルを用いることにより、撮像画像に含まれる第1オブジェクト領域と、第2オブジェクト領域とを特定する。図4は、本実施形態に係る所定エリアの複数の位置のそれぞれにおけるオブジェクトと、当該オブジェクトの第1オブジェクト領域及び第2オブジェクト領域の関係を示す図である。オブジェクト領域特定部122は、図4に示すように、撮像画像に対し、矩形情報を手動で付与した情報を用いて、予め学習を行い、検出モデルを作成することができる。
なお、オブジェクト領域特定部122は、第1オブジェクト領域と第2オブジェクト領域とを個別に学習した2つの検出モデルを用いてもよいが、推論時間の観点では、第1オブジェクト領域を1クラス目、第2オブジェクト領域を2クラス目として学習させ、第1オブジェクト領域と第2オブジェクト領域とを一度に検出することが可能な単一の検出モデルを使用することが望ましい。
図5は、検出モデルを用いて、第1オブジェクト領域及び第2オブジェクト領域を特定した結果の一例を示す図である。図5に示される撮像画像には3つのオブジェクトP1〜P3が映っているとともに、4つの第1オブジェクト領域H1〜H4と、5つの第2オブジェクト領域F1〜F5とが検出されていることが確認できる。第1オブジェクト領域H3及びH4と、第2オブジェクト領域F4及びF5とは過検出(False Positive)である。一方で、オブジェクトP3に対応する第1オブジェクト領域は未検出(False Negative)である。
例えば、特許文献1に開示されている従来方式を用いて第2オブジェクト領域の検出に基づくオブジェクトの検出を行う場合、図5の例における適合率(Precision)は3/5=60%であり、検出率(Recall)は3/3=100%となる。本実施形態に係るオブジェクト位置特定装置は、当該適合率を向上させることも目的とする。
対応関係特定部123は、オブジェクトを模した三次元モデルを所定エリア内の複数の位置のそれぞれに配置した場合に、撮像画像に映る三次元モデルの領域である投影領域のうち、第1領域に対応する第1モデル領域と、第2領域に対応する第2モデル領域との対応関係を特定する(S3)。
図6は、本実施形態に係る三次元モデルの一例を示す図である。例えば、オブジェクトとしての特定の身長の人物のみが所定エリアに存在し、かつ、全ての人物が直立状態と仮定し、使用する三次元モデルの高さを一定値(例えば、1.7m)とする。三次元モデルの形状は簡易的なものであってもよく、図6に示すように、頭部を球体、胴体部分を円柱により構成してもよい。また、人物の身長が1.7mであり、7等身であると想定した場合、図6に示すように、頭部に対応する球体の直径を0.2mとしてもよい。
対応関係特定部123は、所定エリア上の位置に三次元モデルを仮想的に配置した場合に、撮像装置が撮像した画像に含まれる三次元モデルの投影領域を算出する。例えば、記憶部11に、三次元モデルを構成する点群を示す点群情報を記憶させておくとともに、撮像装置により撮像された画像の一点と三次元空間における一点との対応関係を示す撮像装置のキャリブレーションに関するパラメータを記憶させておく。ここで、三次元モデルを構成する点群を構成する複数の点のそれぞれは、三次元空間における座標により表現される。また、パラメータには、撮像装置の設置位置及び設置方向によって定まる外部パラメータと、撮像装置の画像歪みに関する内部パラメータとが含まれる。
対応関係特定部123は、記憶部11から当該点群情報と当該パラメータとを取得し、所定エリア上の位置に三次元モデルを仮想的に配置した場合に、当該点群情報が示す点群の少なくとも一部について、当該パラメータに基づいて、撮像装置が撮像する画像上への投影点を算出する。そして、対応関係特定部123は、第1領域(頭部)に対応する投影点の点群を含む領域の輪郭を近似する多角形領域の外接矩形を第1モデル領域として特定するとともに、第2領域(全身)に対応する投影点の点群を含む領域の輪郭を近似する多角形領域の外接矩形を第2モデル領域として特定する。
図7は、本実施形態に係る第1モデル領域と、第2モデル領域とを特定する例を示す図である。図7に示すように、対応関係特定部123は、例えば、所定エリアの一平面上(Z=0)の位置(X,Y)に三次元モデルを仮想的に配置した場合に、第1モデル領域Hmを示す撮像画像上の位置を示す矩形情報(u_h,v_h,w_h,h_h)と、第2モデル領域Fmを示す撮像画像上の位置を示す矩形情報(u_f,v_f,w_f,h_f)とが特定されていることが確認できる。ここで、u_h,v_h、及びu_f,v_fは、外接矩形の中心座標を示す情報である。また、w_h及びw_fは、外接矩形の横幅を示す情報である。また、h_h及びh_fは、外接矩形の高さを示す情報である。
対応関係特定部123は、第1モデル領域を示す矩形情報及び第2モデル領域を示す矩形情報との対応関係を示す情報として、以下に示す8次元のベクトルを生成する。
(u_h,v_h,w_h,h_h,u_f,v_f,w_f,h_f)
対応関係特定部123は、所定エリアの複数の位置に三次元モデルを仮想的に配置したときの第1モデル領域と第2モデル領域との関係を示す8次元のベクトルを特定することにより、複数の第1モデル領域と、複数の第2モデル領域との対応関係を特定する。対応関係特定部123は、特定した複数の8次元のベクトルをモデル情報として記憶部11に記憶させる。
なお、本実施形態において、対応関係特定部123は、オブジェクト領域特定部122の処理の後に、対応関係を特定することとしたが、これに限らない。オブジェクト領域特定部122は、第1モデル領域と第2モデル領域の対応関係を予め特定し、モデル情報を記憶部11に記憶させるようにしてもよい。また、対応関係特定部123は、後述するモデル領域特定部124が、第1オブジェクト領域に対応する第2モデル領域を特定する際の計算コストを抑えるため、モデル情報が示す8次元のベクトルを参照されるデータとして、参照時のクエリとする最初の2次元データを、kd(k-dimensional)木によりインデックス化しておいてもよい。
なお、所定エリア内に多様な身長の人物が存在する場合や、人物の姿勢が変化する場合がある。この場合に、所定エリア内におけるオブジェクトのサイズや形状を一定と仮定すると、オブジェクトの位置特定の精度が低下するという問題がある。そこで、対応関係特定部123は、オブジェクトが取り得る複数のサイズ及び複数の形状のそれぞれに対応する三次元モデルに対応する第1モデル領域と第2モデル領域との対応関係を特定してもよい。
図8は、本実施形態に係る異なるサイズの複数の三次元モデルの一例を示す図である。なお、本実施形態では、異なるサイズの複数の三次元モデルの一例について説明するが、異なる形状の三次元モデルについても、同様に実施できるため、詳細な説明を省略する。図8に示す例では、オブジェクトとしての人物の身長の範囲を1.3m〜1.7mと仮定し、0.2m間隔で3つの三次元モデルを規定している。この場合、対応関係特定部123は、所定エリアにおける1つの位置について、3つの三次元モデルのそれぞれに対応して、以下に示すように、第1モデル領域を示す撮像画像上の位置を示す矩形情報と、第2モデル領域を示す撮像画像上の位置を示す矩形情報とを特定する。
オブジェクトの高さが1.7m
第1モデル領域の矩形情報:(u1_h,v1_h,w1_h,h1_h)
第2モデル領域の矩形情報:(u1_f,v1_f,w1_f,h1_f)
オブジェクトの高さが1.5m
第1モデル領域の矩形情報:(u2_h,v2_h,w2_h,h2_h)
第2モデル領域の矩形情報:(u2_f,v2_f,w2_f,h2_f)
オブジェクトの高さが1.3m
第1モデル領域の矩形情報:(u3_h,v3_h,w3_h,h3_h)
第2モデル領域の矩形情報:(u3_f,v3_f,w3_f,h3_f)
そして、対応関係特定部123は、所定エリアにおける1つの位置について、以下に示す3つのモデル情報を生成することができる。
(u1_h、v1_h,w1_h,h1_h,u1_f,v1_f,w1_f,h1_f)
(u2_h、v2_h,w2_h,h2_h,u2_f,v2_f,w2_f,h2_f)
(u3_h、v3_h,w3_h,h3_h,u3_f,v3_f,w3_f,h3_f)
三次元モデルの高さの範囲を大きくするほど、また、複数の三次元モデルの高さの間隔を狭くするほど、後述する位置特定部125において高精度にオブジェクトの位置を特定することが可能である。その一方で、特定したモデル情報の容量が増加するという問題、及び、後述するモデル領域特定部124において第1オブジェクト領域に対応する第2モデル領域を特定するための計算コストが増大するという問題がある。
そこで、対応関係特定部123は、相対的に近い位置の複数の第1モデル領域に対応する第1モデル領域と第2モデル領域との対応関係を統合してもよい。例えば、対応関係特定部123は、複数の第1モデル領域に対応する矩形情報を参照し、相対的に近い中心位置を有する複数の第1モデル領域を特定し、当該複数の第1モデル領域のそれぞれに対応する複数の対応関係を統合する。
図9は、同一の中心位置を有する第1モデル領域の一例を示す図である。図9に示す例では、異なる配置位置及び異なるサイズの3つの三次元モデルの第1モデル領域Hm1〜Hm3の中心位置が同一である例を示している。ここで、3つの第1モデル領域Hm1〜Hm3の中心位置が同一であることから、第1モデル領域Hm1〜Hm3の中心位置を示す情報(u1_h、v1_h)、(u2_h、v2_h)、(u3_h、v3_h)において、以下の関係が成り立つ。
u1_h=u2_h=u3_h
v1_h=v2_h=v3_h
この場合、対応関係特定部123は、例えば、以下のように構成した20次元のベクトルを、同一の中心位置を有する対応関係を示すモデル情報として記憶部11に記憶させる。このようにすることで、モデル情報の参照時に計算コストを抑えることができるとともに、記憶量も削減できる。
(u1_h,v1_h,w1_h,h1_h,u1_f,v1_f,w1_f,h1_f,
w2_h,h2_h,u2_f,v2_f,w2_f,h2_f,
w3_h,h3_h,u3_f,v3_f,w3_f,h3_f)
モデル領域特定部124は、三次元モデルを所定エリア内の複数の位置のそれぞれに配置した場合における撮像画像に映る三次元モデルの領域である投影領域のうち、第1領域に対応する複数の第1モデル領域と、第2領域に対応する複数の第2モデル領域との対応関係に基づいて、オブジェクト領域特定部122が特定した第1オブジェクト領域に対する距離を示す第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定する(S4)。
具体的には、モデル領域特定部124は、対応関係特定部123が特定し、記憶部11に記憶されているモデル情報に基づいて、特定された第1オブジェクト領域に対する距離を示す第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定する。
モデル領域特定部124は、特定された第1オブジェクト領域と、第1モデル領域との重複率を算出し、当該重複率が大きければ大きいほど第1の距離が短くなるように第1の距離を算出する。例えば、モデル領域特定部124は、1から重複率を減算した値を、第1の距離として算出する。ここで、重複率は、IoU(Intersection over Union)である。特定した第1オブジェクト領域をA、第1モデル領域をBとした場合、重複率は、(A∩B)/(A∪B)により表される。モデル領域特定部124は、記憶部11に記憶されているモデル情報を参照し、第1オブジェクト領域との第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定する。
なお、モデル領域特定部124は、特定された第1オブジェクト領域に対する距離を示す第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を複数特定してもよい。このようにすることで、モデル領域特定部124は、特定された第1オブジェクト領域に対し、異なるサイズ及び姿勢を有する三次元モデルに対応する複数の第2モデル領域を特定することができる。
また、モデル領域特定部124は、kd木を用いたモデル情報を参照し、特定した第1オブジェクト領域の中心位置との距離が相対的に短い第1モデル領域を特定してもよい。ここで、kd木を用いることにより、第1モデル領域の特定を高速に行うことができるものの、特定された第1モデル領域は、第1オブジェクト領域との重複率が大きいとは限らない。そこで、モデル領域特定部124は、まず、第1オブジェクト領域を示す位置と、相対的に近い中心位置を有する一以上の第1モデル領域を特定し、その後、特定した一以上の第1モデル領域のうち、特定された第1オブジェクト領域との重複率を算出することにより、第1の距離が相対的に短い第1モデル領域を特定してもよい。
図10は、本実施形態に係るモデル領域特定部124が、第2モデル領域を特定する例を説明する図である。図10に示すように、例えば、モデル領域特定部124は、第1オブジェクト領域の中心位置との距離が相対的に短い第1モデル領域として、図10に示す4つの第1モデル領域を特定したとする。この場合に、モデル領域特定部124は、第1オブジェクト領域と、4つの第1モデル領域のそれぞれとの第1の距離を算出する。例えば、第1オブジェクト領域と、矩形情報が(u3_h,v3_h,w3_h,h3_h)である第1モデル領域との第1の距離が最も短い場合、モデル領域特定部124は、当該第1モデル領域に関連付けられている第2モデル領域として、矩形情報が(u3_f,v3_f,w3_f,h3_f)の第2モデル領域を特定する。
モデル領域特定部124は、オブジェクト領域特定部122が特定した複数の第1オブジェクト領域のそれぞれに対し、第2モデル領域を特定する。図11は、図5に示す第1オブジェクト領域及び第2オブジェクト領域を特定した結果に対して、第2モデル領域を特定した例を示す図である。図11に示すように、第1オブジェクト領域H1〜H4に対して、第2モデル領域Fm1〜Fm4が特定されていることが確認できる。なお、図が煩雑になるため、図11では、第2モデル領域の特定の過程で特定された第1モデル領域Hmについては示していない。
位置特定部125は、オブジェクト領域特定部122が特定した第2オブジェクト領域と、モデル領域特定部124が特定した第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合にオブジェクトの位置を特定する(S5)。
具体的には、位置特定部125は、オブジェクト領域特定部122が特定した一以上の第2オブジェクト領域のそれぞれについて、モデル領域特定部124が特定した第2モデル領域の中から、第2の距離が第1の閾値以下である第2モデル領域を特定する。そして、位置特定部125は、第2モデル領域が特定できた第2オブジェクト領域について、当該第2オブジェクト領域が示すオブジェクトの位置を特定する。位置特定部125は、第2モデル領域が複数特定されている場合、特定された一以上の第2モデル領域のそれぞれに対応する第2の距離のうち、相対的に短い第2の距離が第1の閾値以下である場合に、当該第2オブジェクト領域に対応するオブジェクトの位置を特定する。
位置特定部125は、特定された第2オブジェクト領域と、第2モデル領域との重複率を算出し、当該重複率が大きければ大きいほど第2の距離が短くなるように第2の距離を算出する。例えば、位置特定部125は、1から重複率を減算した値を、第2の距離として算出する。ここで、重複率は、第2オブジェクト領域と、第2モデル領域とのIoUである。
図11に示す例では、第2オブジェクト領域F1、F2、F3、F4及びF5のそれぞれに対して、第2の距離が最も小さい第2モデル領域は、それぞれ、Fm1、Fm2、Fm3、該当なし(重複するものがない)、Fm4である。位置特定部125は、図11に示す例において、第2モデル領域との第2の距離が第1の閾値以下の第2オブジェクト領域として、第2オブジェクト領域F1及びF2を特定する。
位置特定部125は、特定された第2オブジェクト領域と、特定された第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、当該第2モデル領域に対応する三次元モデルの配置位置に基づいて、当該第2オブジェクト領域に対応するオブジェクトの所定エリアにおける位置を特定する。
例えば、第2モデル領域を示す矩形情報と、当該第2モデル領域に対応する三次元モデルが配置されている所定エリア上の位置(X,Y)とを関連付けて、位置対応関係情報(u_f,v_f,w_f,h_f,X,Y)として記憶部11に予め記憶させておく。なお、所定エリア上の位置(X,Y)は、第1モデル領域と第2モデル領域との対応関係を示すモデル情報に関連付けられていてもよい。
位置特定部125は、特定された第2オブジェクト領域と、特定された第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、位置対応関係情報を参照し、当該第2モデル領域に関連付けられている所定エリア上の位置(X,Y)を、特定された第2オブジェクト領域に対応するオブジェクトの所定エリア上の位置として特定する。
また、位置特定部125は、特定された第2オブジェクト領域と、特定された第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、当該第2オブジェクト領域の撮像画像における位置を示す矩形情報、及び当該第2モデル領域の撮像画像における位置を示す矩形情報の少なくともいずれかに基づいて、特定された第2オブジェクト領域に対応するオブジェクトの撮像画像における位置を特定する。このようにすることで、オブジェクト位置特定装置1は、オブジェクトの撮像画像における位置も特定することができる。
以上のように、オブジェクト位置特定装置1を用いた場合の図5及び図11の例における適合率(Precision)は、2/2=100%となり、特許文献1に記載されている従来手法を用いた場合の適合率60%を上回る。一方で、従来手法において検出できていた第2オブジェクト領域F3については、上記の処理により未検出となるため、検出率(Recall)は、従来手法に比べて低下し、2/3=66%となる。
そこで、オブジェクト位置特定装置1は、入力部(不図示)を介して、適合率を優先させるか否かの設定を受け付けるようにしてもよい。ここで、適合率を優先させる設定を「適合率優先モード」といい、適合率を優先させず、検出率を上昇させる設定を「検出率適合率バランス型モード」という。
「適合率優先モード」に設定されている場合、位置特定部125は、一以上の第2オブジェクト領域のそれぞれについて、一以上の第1オブジェクト領域との距離を示す第3の距離を特定し、一以上の第2オブジェクト領域のうち、相対的に短い第3の距離が第2の閾値以下であるとともに、第2モデル領域との第2の距離が第1の閾値以下の第2オブジェクト領域に対応するオブジェクトの位置を特定する。
また、「検出率適合率バランス型モード」に設定されている場合、位置特定部125は、「適合率優先モード」に対応する処理に加えて、一以上の第2オブジェクト領域のうち、相対的に短い第3の距離が第2の閾値を超えるとともに、第2モデル領域との第2の距離が第1の閾値以下の第2オブジェクト領域に対応するオブジェクトの位置を特定する。
ここで、位置特定部125は、第2オブジェクト領域と第1オブジェクト領域との和集合に対する、第2オブジェクト領域の比率、及び第1オブジェクト領域の比率のうち、大きい比率を特定し、特定した当該比率が大きければ大きいほど第3の距離が短くなるように第3の距離を算出する。第1オブジェクト領域をA、第2オブジェクト領域をBとした場合、位置特定部125は、第3の距離を、例えば、1−max(A/(A∪B),B/(A∪B))により算出する。ここで、max()は、内部に渡される2つの数値のうち、大きい数値を選択する関数である。このようにすることで、第1オブジェクト領域Aが第2オブジェクト領域Bに内包される、又は第2オブジェクト領域Bが第1オブジェクト領域Aに内包される場合に第3の距離がゼロと特定される。
図11に示す例では、第1オブジェクト領域との第3の距離が第2の閾値(例えば0.6)を超える第2オブジェクト領域として、F3及びF4が特定される。また、第2オブジェクト領域F1、F2及びF5については、第3の距離が最も小さい第1オブジェクト領域として、それぞれ、H1、H2、H4が特定される。
また、第2オブジェクト領域F1、F2及びF5の中で、第2モデル領域との第2の距離が第1の閾値(例えば0.6)以下の第2オブジェクト領域として、F1及びF2が特定される。位置特定部125は、「検出率適合率バランス型モード」に設定されている場合、「適合率優先モード」に設定されている場合にオブジェクトの位置を特定した第2オブジェクト領域F1及びF2と合わせて、第2オブジェクト領域F3及びF4に対応するオブジェクトの位置も特定する。例えば、位置特定部125は、記憶部11に記憶されているモデル情報を参照し、第2の距離が第1の閾値以下の第2のモデル領域を特定し、当該第2のモデル領域の位置に基づいて、第2オブジェクト領域F3及びF4に対応するオブジェクトの位置を特定する。その結果、検出率(Recall)は、適合率優先モードでの66%から3/3=100%に向上する。一方で、適合率(Precision)は、100%から3/4=75%に低下する。本実施形態に係るオブジェクト位置特定装置1の「適合率優先モード」及び「検出率適合率バランス型モード」は、いずれも従来手法に対して適合率を向上させることができる。
[本実施形態における効果]
以上説明したように、本実施形態に係るオブジェクト位置特定装置1は、所定エリアの撮像画像に映るオブジェクトを示す第1領域である第1オブジェクト領域と、第1領域と異なる第2領域である第2オブジェクト領域とを特定する。オブジェクト位置特定装置1は、オブジェクトを模した三次元モデルを所定エリア内の複数の位置のそれぞれに配置した場合に撮像画像に映る三次元モデルの投影領域のうち、第1領域に対応する第1モデル領域と第2領域に対応する第2モデル領域との対応関係に基づいて、特定した第1オブジェクト領域との距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定する。そして、オブジェクト位置特定装置1は、特定した第2オブジェクト領域と特定した第2モデル領域との距離が第1の閾値以下である場合に、オブジェクトの位置を特定する。このようにすることで、オブジェクト位置特定装置1は、撮像装置の種類及び撮像角度に関わらず、オブジェクトの位置の特定精度を維持することができる。
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。例えば、上記実施形態において、第2領域は、オブジェクトとしての人の全身を示す領域であることとしたが、これに限らない。第2領域は、人の胴体を示す領域であってもよい。
また、上記実施形態において、オブジェクト位置特定装置1は、撮像画像から特定した第2オブジェクト領域と、撮像画像から特定した第1オブジェクト領域に基づいて特定した第2モデル領域とを比較し、適切な位置関係を有する第2オブジェクト領域を特定することにより、オブジェクトの過検出を抑制することとしたが、これに限らない。例えば、オブジェクト位置特定装置1は、撮像画像から特定した第2オブジェクト領域と、モデル情報とを参照し、第2オブジェクト領域に対応する第1モデル領域を特定してもよい。そして、オブジェクト位置特定装置1は、特定した第1オブジェクト領域と、特定した第1モデル領域とを比較し、適切な位置関係を有する第1オブジェクト領域を特定することにより、オブジェクトの過検出を抑制することとしてもよい。
また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
1・・・オブジェクト位置特定装置、11・・・記憶部、12・・・制御部、121・・・取得部、122・・・オブジェクト領域特定部、123・・・対応関係特定部、124・・・モデル領域特定部、125・・・位置特定部

Claims (16)

  1. 所定エリアを撮像する撮像装置が撮像した撮像画像を取得する取得部と、
    前記撮像画像に映るオブジェクトを示す第1領域である第1オブジェクト領域と、前記撮像画像に映るオブジェクトを示し前記第1領域と異なる第2領域である第2オブジェクト領域とを特定するオブジェクト領域特定部と、
    前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第1領域に対応する複数の第1モデル領域と、前記第2領域に対応する複数の第2モデル領域との対応関係に基づいて、特定された前記第1オブジェクト領域に対する距離を示す第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定するモデル領域特定部と、
    特定された前記第2オブジェクト領域と、特定された前記第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、前記オブジェクトの位置を特定する位置特定部と、
    を備えるオブジェクト位置特定装置。
  2. 前記モデル領域特定部は、前記対応関係に基づいて、特定された前記第1オブジェクト領域に対する前記第1の距離が相対的に小さい一以上の第1モデル領域に対応する一以上の第2モデル領域を特定し、
    前記位置特定部は、特定された一以上の第2モデル領域のそれぞれに対応する前記第2の距離のうち、相対的に短い第2の距離が、前記第1の閾値以下である場合に、前記オブジェクトの位置を特定する、
    請求項1に記載のオブジェクト位置特定装置。
  3. 前記三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合に前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第1モデル領域と、前記第2モデル領域との対応関係を特定する対応関係特定部をさらに備え、
    前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第1オブジェクト領域に対する前記第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定する、
    請求項1又は2に記載のオブジェクト位置特定装置。
  4. 前記対応関係特定部は、前記オブジェクトが取り得る複数のサイズのそれぞれに対応する三次元モデルに対応する前記対応関係を特定し、
    前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第1オブジェクト領域に対する前記第1の距離が相対的に短い複数の第1モデル領域に対応する複数の第2モデル領域を特定する、
    請求項3に記載のオブジェクト位置特定装置。
  5. 前記対応関係特定部は、前記オブジェクトが取り得る複数の形状のそれぞれに対応する三次元モデルに対応する前記対応関係を特定し、
    前記モデル領域特定部は、特定された前記対応関係に基づいて、特定された前記第1オブジェクト領域に対する前記第1の距離が相対的に短い複数の第1モデル領域に対応する複数の第2モデル領域を特定する、
    請求項3又は4に記載のオブジェクト位置特定装置。
  6. 前記対応関係特定部は、相対的に近い位置の複数の第1モデル領域に対応する前記対応関係を統合する、
    請求項3から5のいずれか1項に記載のオブジェクト位置特定装置。
  7. 前記モデル領域特定部は、特定された前記第1オブジェクト領域と、前記第1モデル領域との重複率を算出し、当該重複率が大きければ大きいほど前記第1の距離が短くなるように前記第1の距離を算出する、
    請求項1から6のいずれか1項に記載のオブジェクト位置特定装置。
  8. 前記モデル領域特定部は、前記第1オブジェクト領域を示す位置と、相対的に近い位置を有する一以上の前記第1モデル領域を特定し、特定した一以上の前記第1モデル領域のうち、特定された前記第1オブジェクト領域との前記第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定する、
    請求項7に記載のオブジェクト位置特定装置。
  9. 前記位置特定部は、特定された前記第2オブジェクト領域と、特定された前記第2モデル領域との重複率を算出し、当該重複率が大きければ大きいほど前記第2の距離が短くなるように前記第2の距離を算出する、
    請求項1から8のいずれか1項に記載のオブジェクト位置特定装置。
  10. 前記オブジェクト領域特定部は、前記撮像画像に基づいて、一以上の前記第1オブジェクト領域と、一以上の前記第2オブジェクト領域とを特定し、
    前記位置特定部は、一以上の前記第2オブジェクト領域のそれぞれについて、一以上の前記第1オブジェクト領域との距離を示す第3の距離を特定し、一以上の前記第2オブジェクト領域のうち、相対的に短い前記第3の距離が第2の閾値以下であるとともに、前記第2モデル領域との前記第2の距離が前記第1の閾値以下の第2オブジェクト領域に対応する前記オブジェクトの位置を特定する、
    請求項1から9のいずれか1項に記載のオブジェクト位置特定装置。
  11. 前記位置特定部は、一以上の前記第2オブジェクト領域のそれぞれについて、一以上の前記第1オブジェクト領域との距離を示す第3の距離を特定し、一以上の前記第2オブジェクト領域のうち、相対的に短い前記第3の距離が前記第2の閾値を超えるとともに、前記第2モデル領域との前記第2の距離が前記第1の閾値以下の第2オブジェクト領域に対応する前記オブジェクトの位置を特定する、
    請求項10に記載のオブジェクト位置特定装置。
  12. 前記位置特定部は、前記第2オブジェクト領域と前記第1オブジェクト領域との和集合に対する、前記第2オブジェクト領域の比率、及び前記第1オブジェクト領域の比率のうち、大きい比率を特定し、特定した当該比率が大きければ大きいほど前記第3の距離が短くなるように前記第3の距離を算出する、
    請求項10又は11に記載のオブジェクト位置特定装置。
  13. 前記位置特定部は、特定された前記第2オブジェクト領域と、特定された前記第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、当該第2モデル領域に対応する前記三次元モデルの配置位置に基づいて、前記オブジェクトの前記所定エリアにおける位置を特定する、
    請求項1から12のいずれか1項に記載のオブジェクト位置特定装置。
  14. 前記位置特定部は、特定された前記第2オブジェクト領域と、特定された前記第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、当該第2オブジェクト領域の前記撮像画像における位置、及び当該第2モデル領域の前記撮像画像における位置の少なくともいずれかに基づいて、前記オブジェクトの前記撮像画像における位置を特定する、
    請求項1から12のいずれか1項に記載のオブジェクト位置特定装置。
  15. コンピュータが実行する、
    所定エリアを撮像する撮像装置が撮像した撮像画像を取得するステップと、
    前記撮像画像に映るオブジェクトを示す第1領域である第1オブジェクト領域と、前記撮像画像に映るオブジェクトを示し前記第1領域と異なる第2領域である第2オブジェクト領域とを特定するステップと、
    前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第1領域に対応する複数の第1モデル領域と、前記第2領域に対応する複数の第2モデル領域との対応関係に基づいて、特定された前記第1オブジェクト領域に対する距離を示す第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定するステップと、
    特定された前記第2オブジェクト領域と、特定された前記第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、前記オブジェクトの位置を特定するステップと、
    を備えるオブジェクト位置特定方法。
  16. コンピュータを、
    所定エリアを撮像する撮像装置が撮像した撮像画像を取得する取得部、
    前記撮像画像に映るオブジェクトを示す第1領域である第1オブジェクト領域と、前記撮像画像に映るオブジェクトを示し前記第1領域と異なる第2領域である第2オブジェクト領域とを特定するオブジェクト領域特定部、
    前記オブジェクトを模した三次元モデルを前記所定エリア内の複数の位置のそれぞれに配置した場合における前記撮像画像に映る前記三次元モデルの領域である投影領域のうち、前記第1領域に対応する複数の第1モデル領域と、前記第2領域に対応する複数の第2モデル領域との対応関係に基づいて、特定された前記第1オブジェクト領域に対する距離を示す第1の距離が相対的に短い第1モデル領域に対応する第2モデル領域を特定するモデル領域特定部、及び、
    特定された前記第2オブジェクト領域と、特定された前記第2モデル領域との距離を示す第2の距離が第1の閾値以下である場合に、前記オブジェクトの位置を特定する位置特定部、
    として機能させるオブジェクト位置特定プログラム。
JP2018220120A 2018-11-26 2018-11-26 オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラム Active JP6991955B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018220120A JP6991955B2 (ja) 2018-11-26 2018-11-26 オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018220120A JP6991955B2 (ja) 2018-11-26 2018-11-26 オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラム

Publications (2)

Publication Number Publication Date
JP2020086899A true JP2020086899A (ja) 2020-06-04
JP6991955B2 JP6991955B2 (ja) 2022-01-13

Family

ID=70909964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018220120A Active JP6991955B2 (ja) 2018-11-26 2018-11-26 オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラム

Country Status (1)

Country Link
JP (1) JP6991955B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926123A (zh) * 2021-03-17 2021-06-08 杭州品茗安控信息技术股份有限公司 建筑构件的位置关系判定方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117244A (ja) * 2015-12-24 2017-06-29 Kddi株式会社 カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117244A (ja) * 2015-12-24 2017-06-29 Kddi株式会社 カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926123A (zh) * 2021-03-17 2021-06-08 杭州品茗安控信息技术股份有限公司 建筑构件的位置关系判定方法、装置、设备及存储介质
CN112926123B (zh) * 2021-03-17 2022-09-02 杭州品茗安控信息技术股份有限公司 建筑构件的位置关系判定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP6991955B2 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
US10515259B2 (en) Method and system for determining 3D object poses and landmark points using surface patches
US8989455B2 (en) Enhanced face detection using depth information
JP5657113B2 (ja) 映像内のオブジェクトの意味解析
WO2012101962A1 (ja) 姿勢状態推定装置および姿勢状態推定方法
US20170004385A1 (en) Image processing apparatus and image processing method
US9665803B2 (en) Image processing apparatus and image processing method
AU2010338283B2 (en) Head recognition method
JP4774818B2 (ja) 画像処理装置及び画像処理方法
US20120062749A1 (en) Human body identification method using range image camera and human body identification apparatus
EP3376433B1 (en) Image processing apparatus, image processing method, and image processing program
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
WO2021134285A1 (zh) 图像跟踪处理方法、装置、计算机设备和存储介质
CN112102409A (zh) 目标检测方法、装置、设备及存储介质
US11657592B2 (en) Systems and methods for object recognition
KR20210046217A (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
US10623629B2 (en) Imaging apparatus and imaging condition setting method and program
JP2015184054A (ja) 同定装置、方法及びプログラム
Bormann et al. Fast and accurate normal estimation by efficient 3d edge detection
US11468609B2 (en) Methods and apparatus for generating point cloud histograms
TW202022697A (zh) 從多個臉部中選擇目標臉部及臉部識別比對方法、裝置
JP2004086929A5 (ja)
JP6991955B2 (ja) オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラム
JP2007200364A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP6991958B2 (ja) オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム
JP6995714B2 (ja) 特定装置、特定方法及び特定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211208

R150 Certificate of patent or registration of utility model

Ref document number: 6991955

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150