JP2020091859A - ユーザ関心推定方法及び装置 - Google Patents

ユーザ関心推定方法及び装置 Download PDF

Info

Publication number
JP2020091859A
JP2020091859A JP2019212055A JP2019212055A JP2020091859A JP 2020091859 A JP2020091859 A JP 2020091859A JP 2019212055 A JP2019212055 A JP 2019212055A JP 2019212055 A JP2019212055 A JP 2019212055A JP 2020091859 A JP2020091859 A JP 2020091859A
Authority
JP
Japan
Prior art keywords
interest
target
curve
trajectory
locus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019212055A
Other languages
English (en)
Other versions
JP6844675B2 (ja
Inventor
ゴォン ウェイタオ
Weitao Gong
ゴォン ウェイタオ
イ ホォン
Hong Yi
イ ホォン
ウェイ　ワン
Wei Wang
ワン ウェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2020091859A publication Critical patent/JP2020091859A/ja
Application granted granted Critical
Publication of JP6844675B2 publication Critical patent/JP6844675B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】本発明はユーザ関心推定方法及び装置を提供する。【解決手段】本発明の実施例は、目標対象の位置に設置されるパノラマカメラにより目標対象を中心とするパノラマ画像を取得し、該パノラマ画像における人物の軌跡を極座標系における座標に変換することにより、後続する軌跡処理時の演算量が減少され、関心度の計算を簡略化し、処理装置に対して必要な処理能力が低減される。また、本発明の実施例は、関心度の計算において、目標ユーザの移動速度及び目標対象との距離等の要因を総合的に考慮することにより、関心度の推定精度を向上することができる。【選択図】図２

Description

本発明はビデオ監視及び画像処理技術分野に属し、具体的にはユーザ関心を推定する方法及び装置に関する。
ビデオ監視アルゴリズムの精度の向上及びインターネット上の計算装置の計算能力の向上に伴い、ビデオ監視により潜在的な顧客及び得意先を発見する方法がますます普及している。例えば、商品(例えば自動車)を展示する応用場面において、商品周りの顧客(人)の画像を採集し、顧客の行動を分析することにより、顧客が該商品に関心があるかどうかを判定し、しいて、顧客が該商品に対して関心を持つ程度を分析することができる。これにより、潜在的な顧客を発見し、顧客の関心、例えば好きな商品や、購入の意図及び関心のある機能等を評価することができる。
従来技術は、顧客の関心を推定する際に、通常のカメラにより軌跡を分析し、関心のある点を捜査し、例えば空間領域-時間領域軌跡分析及び軌跡動作分析等の方法がある。これらの方法は一般的に計算量が多く、装置の処理能力に対する要求が高い等の欠点がある。
本発明は、ユーザ関心推定方法及び装置を提供し、ユーザの関心を推定する計算量を減少し、装置の処理能力への要求を低減することを課題とする。
上記の問題を解決するために、本発明は、目標対象に位置するパノラマカメラにより撮像された、目標ユーザを含む連続的な複数フレームのパノラマ画像を取得するステップと、前記連続的な複数フレームのパノラマ画像から前記目標ユーザの第１軌跡点を抽出して三次元座標系における第２軌跡点に変換し、球体表面を俯瞰する方向に前記第２軌跡点を二次元極座標系に投影し、二次元極座標系における前記目標ユーザの第３軌跡点を取得するステップと、前記目標ユーザの第３軌跡点に基づいてフィッティングを行うことにより、前記目標ユーザの軌跡曲線を取得するステップと、前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を計算し、前記目標ユーザの軌跡曲線との類似度が最も高い目標サンプル関心曲線を決定し、当該目標サンプル関心曲線に対応する関心度に基づいて、前記目標ユーザの前記目標対象に対する目標関心度を決定するステップと、を含むことを特徴とするユーザ関心推定方法を提供する。
好ましくは、上記方法において、前記目標サンプル関心曲線に対応する関心度に基づいて前記目標ユーザの前記目標対象に対する目標関心度を決定するステップは、前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とすること、を含む。
好ましくは、上記方法において、前記目標サンプル関心曲線に対応する関心度に基づいて前記目標ユーザの前記目標対象に対する目標関心度を決定するステップは、参照速度、及び前記目標ユーザの前記連続的な複数フレームのパノラマ画像内での平均移動速度を取得するステップであって、前記参照速度は、前記連続的な複数フレームのパノラマ画像が持続する期間内に、前記目標ユーザと前記目標対象との平均距離を半径として前記目標対象を一周するために必要な最小速度である、ステップと、前記平均移動速度が前記参照速度以下である場合に、前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とするステップと、前記平均移動速度が前記参照速度より大きい場合に、前記目標サンプル関心曲線に対応する関心度及び参照周数に基づいて前記目標関心度を算出するステップであって、前記参照周数は、前記目標対象が前記平均移動速度と軌跡曲線により前記連続的な複数フレームのパノラマ画像内で前記目標対象を一周することが可能な周数であり、前記目標関心度は、前記目標サンプル関心曲線に対応する関心度及び前記参照周数と正相関関係にある、ステップと、を含む。
好ましくは、上記方法において、前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を計算する前に、サンプル関心曲線のスケールに基づいて、前記目標ユーザの軌跡曲線に対して正規化処理を行うこと、をさらに含む。
好ましくは、前記方法において、前記目標ユーザの第３軌跡点に基づいてフィッティングを行うことにより前記目標ユーザの軌跡曲線を取得するステップは、前記第３軌跡点に対してクラスタリング分析を行うことにより、前記第３軌跡点におけるノイズを除去するステップと、前記二次元極座標系を、中心点を円心とする複数の同一の大きさを有する扇形領域に分割し、扇形領域毎に、扇形領域おける第３軌跡点に基づいて、前記扇形領域の軌跡サンプル点を計算するステップであって、前記軌跡サンプル点の半径は前記扇形領域における第３軌跡点の平均半径である、ステップと、各扇形領域の軌跡サンプル点を接続して前記目標ユーザの軌跡曲線を生成するステップと、を含む。
好ましくは、前記方法において、各扇形領域の軌跡サンプル点を接続する前に、 各扇形領域における第３軌跡点の数に基づいて、各扇形領域における第３軌跡点の密度を計算するステップであって、前記密度は、前記扇形領域における第３軌跡点の数と正相関関係にあり、前記扇形領域における軌跡サンプル点の半径と負相関関係にある、ステップと、扇形領域における前記密度が所定の閾値より小さい軌跡サンプル点を削除するステップと、をさらに含む。
また、本発明の実施例は、目標対象に位置するパノラマカメラにより撮像された、目標ユーザを含む連続的な複数フレームのパノラマ画像を取得する画像取得手段と、前記連続的な複数フレームのパノラマ画像から前記目標ユーザの第１軌跡点を抽出して三次元座標系における第２軌跡点に変換し、球体表面を俯瞰する方向に前記第２軌跡点を二次元極座標系に投影し、二次元極座標系における前記目標ユーザの第３軌跡点を取得する座標変換手段と、前記目標ユーザの第３軌跡点に基づいてフィッティングを行うことにより、前記目標ユーザの軌跡曲線を取得する曲線フィッティング手段と、前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を計算し、前記目標ユーザの軌跡曲線との類似度が最も高い目標サンプル関心曲線を決定し、当該目標サンプル関心曲線に対応する関心度に基づいて、前記目標ユーザの前記目標対象に対する目標関心度を決定する関心度計算手段と、を含むことを特徴とするユーザ関心推定装置を提供する。
好ましくは、上記装置において、前記関心度計算手段は、前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とし、或いは、参照速度、及び前記目標ユーザの前記連続的な複数フレームのパノラマ画像内での平均移動速度を取得し、前記参照速度は、前記連続的な複数フレームのパノラマ画像が持続する期間内に、前記目標ユーザと前記目標対象との平均距離を半径として前記目標対象を一周するために必要な最小速度であり、前記平均移動速度が前記参照速度以下である場合に、前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とし、前記平均移動速度が前記参照速度より大きい場合に、前記目標サンプル関心曲線に対応する関心度、及び参照周数に基づいて前記目標関心度を算出し、前記参照周数は、前記目標対象が前記平均移動速度と軌跡曲線により前記連続的な複数フレームのパノラマ画像内で前記目標対象を一周することが可能な周数であり、前記目標関心度は、前記目標サンプル関心曲線に対応する関心度及び前記参照周数と正相関関係にある。
好ましくは、前記ユーザ関心推定装置において、前記曲線フィッティング手段は、前記第３軌跡点に対してクラスタリング分析を行うことにより、前記第３軌跡点におけるノイズを除去し、前記二次元極座標系を、中心点を円心とする複数の同一の大きさを有する扇形領域に分割し、扇形領域毎に、扇形領域おける第３軌跡点に基づいて、前記扇形領域の軌跡サンプル点を計算し、前記軌跡サンプル点の半径は前記扇形領域における第３軌跡点の平均半径であり、各扇形領域の軌跡サンプル点を接続して前記目標ユーザの軌跡曲線を生成する。
好ましくは、前記ユーザ関心推定装置において、前記曲線フィッティング手段は、各扇形領域の軌跡サンプル点を接続する前に、各扇形領域における第３軌跡点の数に基づいて、各扇形領域における第３軌跡点の密度を計算し、前記密度は、前記扇形領域における第３軌跡点の数と正相関関係にあり、前記扇形領域における軌跡サンプル点の半径と負相関関係にあり、扇形領域における前記密度が所定の閾値より小さい軌跡サンプル点を削除する。
本発明の実施例は、プロセッサと、コンピュータプログラム指令が記憶されるメモリと、を含み、前記プロセッサが前記コンピュータプログラム指令を実行することにより、目標対象に位置するパノラマカメラにより撮像された、目標ユーザを含む連続的な複数フレームのパノラマ画像を取得するステップと、前記連続的な複数フレームのパノラマ画像から前記目標ユーザの第１軌跡点を抽出して三次元座標系における第２軌跡点に変換し、球体表面を俯瞰する方向に前記第２軌跡点を二次元極座標系に投影し、二次元極座標系における前記目標ユーザの第３軌跡点を取得するステップと、前記目標ユーザの第３軌跡点に基づいて曲線フィッティングを行い、前記目標ユーザの軌跡曲線を取得するステップと、前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を算出し、前記目標ユーザの軌跡曲線との類似度が最も高い目標サンプル関心曲線を決定し、前記目標サンプル関心曲線に対応する関心度に基づいて、前記目標ユーザの前記目標対象に対する目標関心度を決定するステップと、を前記プロセッサに実行させることを特徴とするユーザ関心推定装置を提供する。
本発明の実施例により提供されるユーザ関心推定装置及び方法は、従来技術に比べて、目標対象位置に設置されるパノラマカメラにより目標対象を中心とするパノラマ画像を取得し、そして、該パノラマ画像における人物の軌跡を極座標系における座標に変換することができる。極座標系における軌跡点座標の半径が目標ユーザの目標対象への関心度を反映するため、後続する軌跡処理時の演算量が減少され、関心度の計算を簡略化し、処理装置に対して必要な処理能力が低減される。また、本発明の実施例は、関心度の計算において、目標ユーザの移動速度及び目標対象との距離等の要因を総合的に考慮することにより、関心度の推定精度を向上することができる。
本発明の実施例に係るユーザ関心推定方法を適用した場面の一例を示す図である。 本発明の実施例に係るユーザ関心推定方法を示すフローチャートである。 本発明の実施例に係るパノラマ画像における軌跡点を3次元座標系に変換する一例を示す図である。 本発明の実施例に係る曲線フィッティングの一例を示す図である。 本発明の実施例に係るサンプル関心曲線の一例を示す図である。 本発明の実施例に係る軌跡曲線正規化処理の一例を示す図である。 本発明の実施例に係るユーザ関心推定装置の構造を示す概略図である。 本発明の実施例に係るユーザ関心推定装置の構造を示す概略図である。
具体的な実施形態は、本発明が解決しようとする問題、解決手段及びメリットをより明確にするために、以下に図面及び具体的な実施例を参照しながら詳細に説明する。なお、以下の説明で提供される特定の構成および構成要素などの特定の詳細は、本発明の実施形態を完全に理解するのを助けるためのものであって、本発明の範囲および趣旨から逸脱することなく、本明細書に記載される実施形態に様々な変更および修正を加えることができることが当業者には明らかであろう。また、周知の機能及び構成については、明確または簡潔のために、その説明を省略する。
本明細書全体を通して言及される一つの実施例または「一実施形態」は、実施形態に関連する特定の特徴、構造または特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。このため、明細書全体を通して記載される「一つの実施例では」または「一実施例では」という用語は必ずしも同じ実施例を指すとは限らない。さらに、これらの特定の特徴、構造、または特性は、任意の方法で1つまたは複数の実施例に適宜に組み込むことができる。
本発明の様々な実施例において、後ほど述べられる各ステップ番号の大きさは実行順を意味するものではない。各ステップの実行順序は、その機能及び内在的な論理に依存し、本発明の実施例の実施プロセスを限定しない。
図1は本発明の実施例にかかるユーザ関心推定方法を適用した場面の一例を示す図である。図1において、自動車11は展示場で展示されている。自動車11の頂部にパノラマカメラ12が設置され、自動車周囲の環境をリアルタイムに監視し、自動車11を中心とするパノラマ画像を採集する。図1には、車両の周囲に車両に近づく若しくは車両から離れる、または車両の周りを移動する複数の参観者13〜15が示されている。本発明の実施例にかかるユーザ関心推定方法は、上記場面における自動車11周辺の人を監視し、さらに各人が自動車11への関心度を推定することができる。また、上記場面において、本発明の実施例にかかるユーザ関心推定方法を実施するために、自動車の頂部又は内部にさらに計算処理能力を有する装置(図1には図示せず)、例えばインターネット上の計算装置で、具体的にエッジ装置(edge-device)等のデバイスを設置してもよい。
関心度を推定する計算量を減少し、処理装置に求められる必要な処理能力を低減するために、本発明の実施例は目標ユーザの目標対象に対する関心度を推定するユーザ関心の推定方法を提供する。ここで、目標ユーザは具体的には人であり、目標対象は様々なアイテム、例えば展示された車両又は芸術作品等である。本発明の実施例において、目標対象位置に、目標対象を中心とする目標対象周辺のパノラマ画像を撮影するパノラマカメラが設置される。図2に示すように、該ユーザ関心の推定方法は以下のステップを含む。
ステップ21において、目標対象近傍に設置されるパノラマカメラにより撮像され、目標ユーザが映る連続する複数のパノラマ画像を取得する。
ここで、本発明の実施例はパノラマカメラを目標対象位置に設置し、例えば目標対象の中央に設置される。展示された自動車を例にとると、車の頂部の中央に位置する箇所に該パノラマカメラが設置される。パノラマカメラにより目標対象周辺のパノラマ画像が採集される。説明の便宜上、以下では一人の目標ユーザを例として説明するが、より多くの目標ユーザの場合には、本発明の実施例にかかる推定方法を利用して、目標ユーザ毎にそれぞれ処理を行うことにより、各目標ユーザの目標対象に対する関心度を求めることができる。
パノラマカメラは連続するパノラマ画像を撮影することができる。通常、ユーザが目標対象の周辺で移動する軌跡は連続的なものである。本発明の実施例は、目標ユーザが映る連続する複数のパノラマ画像を抽出し、上記連続する複数のパノラマ画像を利用して後続の関心度推定処理を行う。具体的には、歩行者検出等のアルゴリズムを利用し、パノラマ画像における各人物をそれぞれ識別し、所定の人物が映る連続する複数のパノラマ画像を抽出することにより、これらのパノラマ画像を利用して当該人物が対象目標に対する関心度を分析する。
ステップ22において、前記連続する複数のパノラマ画像から前記目標ユーザの第一軌跡点を抽出して3次元座標系における第2軌跡点に変換し、球体表面を俯瞰する方向に前記第2軌跡点を2次元極座標系に投影することにより、2次元極座標系における前記目標ユーザの第3軌跡点を得る。
本発明の実施例は、ステップ21で取得された連続する複数のパノラマ画像から前記目標ユーザの第一軌跡点を抽出することにより、後続の処理において、目標ユーザの軌跡点のみに対して処理を行えばよく、パノラマ画像全体に対して処理を行わずに済む。このため、演算量を大幅に低減することができる。
ここで、第1軌跡点は各パノラマ画像における目標ユーザが位置する位置点である。具体的には、歩行者検出アルゴリズムを例とすると、一般的にはパノラマ画像における歩行者を囲む矩形囲み枠を取得し、該矩形囲み枠の底部領域の中心点を歩行者の該パノラマ画像における第１軌跡点とする。当然ながら、本発明の実施例は、矩形囲み枠内の他の点を歩行者の第1軌跡点としてもよく、これは具体的に限定されるものではない。
一般に、ユーザは、より近い距離で細かく観察するために、自分にとって関心のあるものに対して能動的に接近する。したがって、関心度の推定にあたって、目標ユーザと目標対象との間の距離の大きさは重要な指標となる。本発明の実施例は、座標系の変換方式により、目標ユーザの軌跡点を2次元極座標系に変換して2次元極座標系の座標で表示する。パノラマ画像が目標対象を中心として撮影されるため、ステップ22で座標系変換した後、2次元極座標系における軌跡点の座標の半径は目標ユーザと目標対象との間の距離になる。これにより、上記の座標系変換処理により、後続する関心度推定の演算量が大幅に低減される。
図3は、パノラマ画像における軌跡点を3次元座標系に変換する例を示す図である。パノラマ画像における第1軌跡点は2次元座標系で生成される。パノラマ画像は、例えば、正距円筒投影画像であるパノラマ画像31によって表示される。画像32はパノラマ画像31で検出された複数のユーザの第1軌跡点を示す一例を示す。本例では正距円筒投影によるパノラマ画像31を球面表面画像33に変換することにより、2次元の平面(パノラマ画像31)における軌跡から3次元の立体的位置情報を抽出する。3次元座標データは、3次元空間においてユーザの動きを追跡し、ユーザの関心を評価することに用いるができる。例えば、パノラマ画像31を示す2次元座標系F(u,v)は、式
Figure 2020091859
 と
Figure 2020091859
 により、球面表面画像33を示す3次元座標系FF(φ,λ)に変換される。ここで、WとHは、正距円筒投影のパノラマ画像31の幅と高さである。φは球面表面画像33における緯度であり、λは球面表面画像33における経度である。仮に、パノラマ画像31内のユーザの軌跡点の座標が(u0,v0)であるとすると、上記式によって該第1軌跡点(u0,v0)を球面表面画像33に投影して第2軌跡点(φ0,λ0)が得られる。目標対象が平面図34の中央に位置するため、この軌跡点と中心点との距離は、球面を俯瞰する方向からより容易に計算される。このため、式ρ＝Ｒ*ｓｉｎλ及びθ=φを用いて、第2軌跡点を2次元極座標系F(ρ,θ)に投影することにより、第3軌跡点(ρ0,θ0)が得られる。ここで、Rは球体の半径であり、ρは球心までの距離であり、θは予め設定された参照方向に対する角度である。画像35は平面図において複数ユーザの軌跡点の例を示す。通常、ユーザと目標対象との距離は、目標対象に対するユーザの関心度と負相関する。例えば、目標対象への関心度が大きいほど、ρは小さくなる。
ステップ23において、前記目標ユーザの第3軌跡点に基づいてフィッティングを行うことにより、前記目標ユーザの軌跡曲線を得る。
ここで、目標ユーザの第3軌跡点をそれぞれ各パノラマ画像から取得し、複数の連続するパノラマ画像から取得された複数の第3軌跡点に対して曲線フィッティングを行うことにより、前記目標ユーザの軌跡曲線が算出される。
また、本発明の実施例は、ステップ23で曲線フィッティングを行う前に、第3軌跡点集合に対するクラスタリング分析により、前記第3軌跡点におけるノイズを除去した後に、残りの第3軌跡点に対して曲線フィッティングを行う。通常、人物の移動軌跡は連続するため、クラスタリングアルゴリズムで目標ユーザの第3軌跡点の集合に対してクラスタリング処理を行い、離散点を回帰する複数のカテゴリを算出し、離散点分析アルゴリズムにより、第3軌跡点から離散点を特定する。離散点とは、大多数の軌跡点が帰属されるカテゴリから遠く離れる軌跡点を指す。このような離散点を除去することにより、後続するフィッティングにより得られた曲線と目標ユーザの実際の移動軌跡とがさらにマッチングされる。図4はステップ23を示す一例である。そのうちに、左図は複数のユーザの第3軌跡点を含み、真ん中の図は特定されたすべての離散点(すなわちノイズポイント)を示し、右図は曲線フィッティングにより得られた2人のユーザ(ユーザ1およびユーザ2)のフィッティング曲線を示す。
以下に本発明の実施例において具体的な曲線フィッティングの方法を説明する。前記2次元極座標を、中心点を円心とする複数の同じ大きさの扇形領域に分割し、扇形領域毎に第3軌跡点に基づいて軌跡サンプル点を計算する。ここで、扇形領域iの軌跡サンプル点TCiの半径ρTCiは前記扇形領域iにおける第3軌跡点の平均半径である。
Figure 2020091859
上記式の中、ρTCiは扇形領域iにおける軌跡サンプル点TCiの半径を表し、Ｎｉは扇形領域iにおける第3軌跡点の数を表し、ρkは扇形領域iにおける第3軌跡点kの半径を表す。
前記軌跡サンプル点と前記参照方向との角度は、該扇形領域の2つの辺のいずれかと前記基準方向との角度、又は、該扇形領域の中心線と前記基準方向との角度である。
ここで、扇形領域の大きさは、演算量と曲線精度に応じて設定することができる。一般に、扇形領域が多ければ多いほど演算量が多く、より高い精度を必要とする。図4の例は扇形領域を16つ含み、本発明の実施例は通常16以上の扇形領域を設定する。上記の方式で扇形領域毎に軌跡サンプル点を1つ生成し、そして、各扇形領域の軌跡サンプル点を接続して前記目標ユーザの軌跡曲線を生成する。軌跡サンプル点を接続する際に、扇形領域の軌跡サンプル点を隣接する扇形領域の軌跡サンプル点に接続する。通常、ユーザ移動軌跡が一定の連続性があるため、ある軌跡サンプル点に対して、軌跡サンプル点を含む隣接扇形領域が少なくとも一つ存在する。以上の接続処理により、目標ユーザの軌跡曲線が形成される。
さらに、通常、パノラマカメラは一定のフレームレートで画像を取得する。このため、ユーザの移動軌跡には一定の連続性がある。仮にユーザの移動速度が比較的に安定する場合に、目標対象を中心点とする頂部画像において、ユーザが目標対象に近いほど、採集された同一扇形領域内の軌跡点が少なく、逆に、ユーザが目標対象から離れるほど、同一扇形領域内の軌跡点が多くなる。本発明の実施例はこれらの要因を考慮し、さらに干渉情報(例えばノイズ)である可能性のあるいくつかの軌跡サンプル点を除去する。これに基づいて、本発明の実施例は、各扇形領域の軌跡サンプル点を接続する前に、扇形領域毎に扇形領域内の第3軌跡点の数に基づいて第3軌跡点の密度を計算する。ここで、前記密度は前記扇形領域における第3軌跡点の数と正相関し、前記扇形領域における軌跡サンプル点の半径と負相関する。その後、所定の閾値未満の扇形領域の中の軌跡サンプル点を削除する。上記所定の閾値は扇形領域の密度の平均値に基づいて設定されてもよく、例えば平均値の60%や他の数値に設定されてもよく、又は、経験値に基づいて設定されてもよい。
一例として、扇形領域iにおける第3軌跡点の密度densityTCiの計算式は以下に示す。
Figure 2020091859
ここで、Ｎｉは扇形領域iにおける第3軌跡点の数を表し、ρTCiは扇形領域iにおける軌跡サンプル点の半径を表し、ρkは扇形領域iにおける第3軌跡点kの半径を表す。
当然のことながら、以上に示した公式は本発明の実施例に適用された計算式の一例である。密度計算について、本発明の実施例において、上記正相関及び負相関の要件を満たせば、類似する他の計算式でもよい。
なお、本発明の実施例は、曲線フィッティングアルゴリズムに関する公知技術で曲線フィッティングすることができ、具体的に限定されるものではない。これに関して、簡潔のために詳細な説明を省略する。
ステップ24において、前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を計算し、前記目標ユーザの軌跡曲線との類似度が最も高い目標サンプル関心曲線を決定し、当該目標サンプル関心曲線に対応する関心度に基づいて、前記目標ユーザの前記目標対象に対する関心度を決定する。
ここで、サンプル関心曲線は、関心度によって予め定義し保存される。関心度は、軌跡形状と関心度との関係についての経験により予め定義される。図5は、複数のレベルが異なるサンプル関心曲線の例を示す図である。そのうちに、レベル1は、完全な円形軌道であるサンプル関心曲線を1つ含む。レベル2は中心角が270°であるサンプル関心曲線を4つ含み、レベル3は中心角が180°であるサンプル関心曲線を4つ含み、レベル4は中心角が90°であるサンプル関心曲線を4つ含む。ユーザ行動の分析により、ユーザは目標対象を観察する時に、目標対象に関心が高いほど、形成される移動軌跡の中心角が大きくなる。これにより、上記4つのレベルのサンプル関心曲線のうち、レベルの小さい方がそれに対応する関心度が高い。
目標ユーザの軌跡曲線を得た後に、目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度をそれぞれ計算する。類似度の計算は、公知技術である曲線類似度計算アルゴリズムを参照する。本発明の実施例は、類似度計算を行う前に、サンプル関心曲線のスケールに応じて、前記目標ユーザの軌跡曲線に正規化処理を行う。図6は正規化処理の一例を示す。そのうちに、極座標系の中心点である点61を中心としてユーザの軌跡曲線Trajpを囲む最小正方形62を形成する。該正方形の辺の長さをSpとする。同様に、サンプルの関心曲線にも同様の辺の長を得ることができ、これをSとする。正規化処理を行う際に、ユーザの軌跡曲線の大きさをサンプル関心曲線にマッチングさせて後続の類似度計算を簡単になるように、S/Spの縮小/拡大スケーリングに応じてユーザの軌跡曲線Trajpに対して正規化処理を行うことができる。正規化された軌跡Traj’pは、例えば、以下の式を用いて計算される。
Figure 2020091859
ここで、
（外１）
Figure 2020091859
，
（外２）
Figure 2020091859
となる。
以下では本発明の実施例に適用可能な類似度計算の例を開示する。また、以下の例は本発明を限定するものではない。本発明の実施例はさらに他の公知技術の曲線類似度の計算アルゴリズムを用いてもよい。
正規化された目標ユーザの軌跡曲線Traj’pとサンプル関心曲線との類似度(例えば形状類似度)を以下の式で計算される。
Figure 2020091859
ここで、（xi,β, yi,β）∈Curveiとなる。
Sp,iはTraj’pとサンプル関心曲線Curveiとの類似度であり、ここで、Curveiはi番目のサンプル関心曲線である。i番目のサンプル関心曲線上に、Mi個の点、例えば、該サンプル関心曲線から等間隔のMi個の参照点を等間隔で取ることができる。即ち隣接する参照点に挟まれるサンプル関心曲線部分の長さは同じである。次に、参照点毎に、上記公式によりTraj’pの点と参照点との距離を計算し、該距離が最小となるTraj’pの点を特定し、且つ最小距離の二乗値（即ち
（外３）
Figure 2020091859
）を算出する;そして、全てのMi個の参照点全ての前記二乗値の平均値をそれぞれ算出し、その平均値の平方根を算出することにより、軌跡曲線Traj’pとサンプル関心曲線iとの形状類似度Sp,iを得る。
仮に、Traj’pとサンプル関心曲線jの形状類似度Sp,jが最小とする。これはTrajpとサンプル関心軌跡曲線Curvejが最も類似することを示し、Trajpは目標サンプル関心曲線になる。後続において、目標サンプル関心曲線Curvejの関心度に基づいて目標ユーザの目標対象に対する関心度が決定される。
目標サンプル関心曲線を決定した後、目標関心度を計算する計算方法の一つとして以下の方法がある。即ち、前記目標サンプル関心曲線に対応する関心度を前記目標関心度とする。例えば、仮に、軌跡曲線Trajpがレベル1のサンプル関心曲線に最も類似とすると、上記ステップ24において、レベル1のサンプル関心曲線に対応する関心度1/SLpを、前記目標ユーザの前記目標対象に対する関心度とすることができる。
実際の応用において、目標ユーザが目標対象の周りを複数周に回って観察する場合に、目標ユーザが目標対象に関心があることが反映される。一般的に、回る周数が多いほど、関心度が高くなる。当然ながら、ユーザが完全に一周した観察を完成せず、観察過程において非閉鎖軌跡に沿って前後に移動して観察する場合もある。このような状況もユーザが対象目標に対して関心があることを反映する。そのために、本発明の実施例は目標関心度の別の計算方式を提供する。その計算方式は、目標ユーザの移動速度及び軌跡曲線に基づいて、目標ユーザが前記複数の連続するパノラマ画像が持続する間に目標対象の周りに一周以上回った観察を行ったかどうかを決定し、決定結果に基づいて前記目標ユーザの目標関心度を判定する。具体的には、本発明の実施例は、前記参照速度、及び前記目標ユーザが前記複数の連続するパノラマ画像内の平均移動速度を取得する。前記参照速度は前記複数の連続するパノラマ画像の持続時間内に、前記目標ユーザと目標対象との平均距離を半径として、前記目標対象を一周するのに必要な最小速度である。その後、前記平均移動速度が前記参照速度以下である場合に、前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とし、前記平均移動速度が前記参照速度よりも大きい場合に、前記目標サンプル関心曲線に対応する関心度及び参照周数に基づいて、前記目標関心度を計算する。そのうち、前記参照周数は、前記目標対象が前記平均移動速度と軌跡曲線に沿って、前記複数の連続するパノラマ画像が持続期間内で前記目標対象を一周する可能な周数であり、前記目標関心度は、前記目標サンプル関心曲線に対応する関心度と前記参照周数のいずれとも正相関関係にある。
次に上記計算方式の具体的な計算式を示す。なお、以下の式は本発明を限定するものではない。上記相関関係を満たせば、他の式を本発明に用いてもよい。
Figure 2020091859
Figure 2020091859
上記式に、SPEEDは前記目標ユーザpの前記複数の連続するパノラマ画像内での平均移動速度を表し、Timepは前記複数の連続するパノラマ画像の持続する時間を表し、Mpは前記目標ユーザpの軌跡サンプル点の数を表し、ρTCiは前記目標ユーザpの軌跡サンプル点の半径を表し、TCCpは、前記目標ユーザpの軌跡サンプル点iの平均半径を表し、前記目標ユーザと目標対象との平均距離とされる。1/SLpは前記目標サンプル関心曲線に対応する関心度を表し、d（SLp,TCCp,Timep）は前記目標関心度を表す。
上記式において、SPEEDが2π*TCCp/Timepより大きい場合、前記複数の連続するパノラマ画像の持続時間において目標ユーザの軌跡曲線及び平均移動速度で、目標対象を中心として一周を超えた観察を行うことができる。SPEEDが2π*TCCp/Timep以下である場合、前記複数の連続するパノラマ画像の持続時間において目標ユーザの軌跡曲線及び平均移動速度で、目標対象を中心として一周以下に回って観察を行うことができる。
（外４）
Figure 2020091859
は参照周数を表すことができる。上記式から分かるように、前記目標関心度は、前記目標サンプル関心曲線に対応する関心度及び前記参照周数のいずれとも正相関関係である。
以上のステップにより、本発明の実施例は、目標対象位置に設置されたパノラマカメラにより、目標対象を中心とするパノラマ画像を取得し、座標系間の変換処理により、後続する軌跡処理時の演算量が減少され、関心度の計算が簡略化され、処理装置に要求される必要な処理能力が低減される。また、本発明の実施例は、関心度の計算において、目標ユーザの移動速度や目標対象との距等の要素を総合的に考慮することにより、関心度の推定精度が向上される。
本発明の実施例は以上の実施例によるユーザ関心の推定方法に基づき、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されることにより、上記実施例にかかるユーザ関心推定方法に含まれるステップが実現され、コンピュータ読み取り可能な記憶媒体を、更に提供する。
また、本発明の実施例は、上記の方法に基づいて、上記方法を実行する装置を提供する。図7に示すように、本発明の実施例に係るユーザ関心推定装置70は、画像取得部71、座標変換部72、曲線フィッティング部73、及び関心度計算部74を含む。
画像取得部71は、目標対象位置に設置されるパノラマカメラにより撮像され、目標ユーザが映る複数の連続するパノラマ画像を取得する。
座標変換部72は、前記複数の連続するパノラマ画像から前記目標ユーザの第1軌跡点を抽出して三次元座標系における第2軌跡点に変換し、球体表面を俯瞰する方向に前記第2軌跡点を二次元極座標系に投影することにより、二次元極座標系における前記目標ユーザの第3軌跡点を得る。
曲線フィッティング部73は、前記目標ユーザの第3軌跡点に基づいてフィッティングを行うことにより、前記目標ユーザの軌跡曲線を得る。
関心度計算部74は、前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を計算し、前記目標ユーザの軌跡曲線との類似度が最も高い目標サンプル関心曲線を決定し、当該目標サンプル関心曲線に対応する関心度に基づいて、前記目標ユーザの前記目標対象に対する関心度を決定する。
以上の各ユニットにより、本発明の実施例の推定装置70は、目標対象を中心とするパノラマ画像を取得し、そして、該パノラマ画像における人物の軌跡を極座標系における座標に変換することにより、後続する軌跡処理時の演算量を減少させ、関心度の計算を簡略化し、処理装置に対して必要な処理能力を低減させることができる。
好ましくは、前記関心度計算部74は、前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とし；若しくは、前記複数の連続するパノラマ画像が持続する期間内に前記目標ユーザと目標対象との平均距離を半径として前記目標対象を一周する必要な最小速度である参照速度、及び前記目標ユーザが前記複数の連続するパノラマ画像内での平均移動速度を取得し；前記平均移動速度が前記参照速度以下である場合に、前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とし；及び、前記平均移動速度が前記参照速度より大きい場合に、前記目標サンプル関心曲線に対応する関心度、及び前記目標対象が前記平均移動速度と軌跡曲線により前記複数の連続するパノラマ画像内で前記目標対象を一周する可能な周数である参考周数に基づいて、前記目標サンプル関心曲線に対応する関心度と前記参照周数のいずれとも正相関関係である前記目標関心度を算出する。
以上の処理により、前記関心度計算部74は関心度の計算において、目標ユーザの移動速度及び目標対象との距離等の要因を総合的に考慮することにより、関心度の推定精度が向上される。
好ましくは、前記関心度計算部74は、前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を計算する前に、サンプル関心曲線のスケールに基づいて、前記目標ユーザの軌跡曲線に対して正規化処理を行う正規化処理手段を含む。正規化処理により、後続の曲線類似度計算の演算量が簡略化される。
好ましくは、前記曲線フィッティング部73は、さらに、前記第3軌跡点に対してクラスタリング分析を行うことにより、前記第3軌跡点におけるノイズを除去し;前記2次元極座標を、中心点を円心とする複数の同じ大きさの扇形領域に分割し、扇形領域毎に、扇形領域おける第3軌跡点に基づいて、前記扇形領域における第3軌跡点の平均半径を半径とする軌跡サンプル点を計算し；各扇形領域の軌跡サンプル点を接続して前記目標ユーザの軌跡曲線を生成する。このような曲線フィッティング部73の処理により、本発明の実施例は軌跡曲線の生成が簡略化される。
好ましくは、前記曲線フィッティング部73は、更に各扇形領域の軌跡サンプル点を接続する前に、各扇形領域における第3軌跡点の数に基づき、各扇形領域における第3軌跡点の密度を計算し、ここで、前記密度は前記扇形領域における第3軌跡点の数と正相関し、前記扇形領域における軌跡サンプル点の半径と負相関し；扇形領域において前記密度が所定の閾値より小さい軌跡サンプル点を削除する。以上の処理により、ノイズデータが削除され、後続の関心度計算の精度が向上される。
図8は本発明の実施例にかかるユーザ関心推定装置800のハードウェア構成を示すブロック図である。図8に示すように、ユーザ関心推定装置800は、プロセッサ802と、コンピュータプログラム指令が記憶されるメモリ804と、を含み、前記プロセッサが前記コンピュータプログラム指令を実行することにより、目標対象位置に設置されるパノラマカメラにより撮像され、目標ユーザが映る複数の連続したパノラマ画像を取得し；前記複数の連続したパノラマ画像から前記目標ユーザの第1軌跡点を抽出して三次元座標系における第2軌跡点に変換し、球体表面を俯瞰する方向に前記第2軌跡点を二次元極座標系に投影することにより、二次元極座標系における前記目標ユーザの第3軌跡点を得；前記目標ユーザの第3軌跡点に基づいて曲線フィッティングを行い、前記目標ユーザの軌跡曲線を形成し；前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を算出し、前記目標ユーザの軌跡曲線との類似度が最も高い目標サンプル関心曲線を決定し、前記目標サンプル関心曲線に対応する関心度に基づいて、前記目標ユーザが前記目標対象に対する関心度を算出することを含むステップが実行される。
更に、図8に示すように、ユーザ関心推定装置800は、ネットワークインターフェース（ネットワークI/F）801、入力装置803、ハードディスク805、及び表示装置806を含む。
上記各インターフェースはバスアーキテクチャを介してそれぞれ各装置に接続される。バスアーキテクチャは任意の数の相互接続を含むことができるバスとブリッジである。具体的に、プロセッサ802に代表される1つ又は複数の中央処理器（CPU）と、メモリ804が代表される1つまたは複数のメモリの各種回路が接続される。また、バスアーキテクチャより、例えば外付け機器、レギュレータ―及び電力管理回路などの他の様々な回路が接続される。このように、バスアーキテクチャよりこれらの機器が通信可能に接続される。バスアーキテクチャは、データバス以外に、電源バス、制御バス及び状態信号バスを含む。これらは本発明分野の公知技術であり、本文において詳細な説明を省略する。
ネットワークインターフェース801は、ネットワーク(例えば、インターネットやLANなど)に接続され、ビデオソースからパノラマカメラにより撮影されたパノラマ映像データを受け付け、ハードディスク805に記憶させるインターフェースである。
入力装置803はユーザより入力される各種指令を受け付け、プロセッサ802に送信して実行させる手段である。また、入力装置803はキーボードやクリック手段（例えば、マウス、トラックボール、タッチボード）、またはタッチパネルやタッチスクリーン等がある。
表示装置806はプロセッサ802が指令を実行した結果を表示する手段である。例えば、前記目標ユーザの目標対象の目標関心度の計算結果等をリアルタイムに表示する。
前記メモリ804はオペレーティングシステムの実行に必要なプログラムとデータ、及びプロセッサ802の計算過程における中間結果等のデータを記憶するメモリである。
本発明の実施例にかかるメモリ804は揮発性メモリ又は非揮発性メモリ、もしくは揮発性と非揮発性の両方を含むメモリである。その中に、非揮発性メモリはROM、PROM、EPROM、EEPROM、フラッシュメモリである。揮発性メモリはRAMであり、外部キャッシュとして使用される。しかし、本明細書に記載される装置及び方法に用いったメモリ804はこれらのメモリに限定されず、他の適切なタイプのメモリでもよい。
一部の実施形態において、メモリ804に、実行可能なモジュール又はデータ構成若しくはこれらのサブモジュールや拡張モジュールであるオペレーティングシステム8041及びアプリケーションプログラム8042が記憶される。
その中に、オペレーティングシステム8041は、各種システムプログラム、例えばフレームワーク層、コアライブラリ層、駆動層を含み、様々な基幹業務やハードウェアベースのタスクを実現するために用いられる。アプリケーションプログラム8042は各種アプリケーションプログラム、例えばウェブブラウザ―(Browser)等を含み、様々なアプリケーション業務を実現するためのものである。本実施例にかかる方法を実行するプログラムはアプリケーションプログラム8042に含む。
上記本発明の実施例にかかる方法は、プロセッサ802に適用され、またはプロセッサ802によって実現される。プロセッサ802は信号を処理する能力を持つ集積回路基板である。上記方法の各ステップはプロセッサ802におけるハードウェアである集積論理回路又はソフトウェア形式の指令によって実現される。上記プロセッサ802は汎用プロセッサ、デジタル信号処理装置(DSP)、専用集積回路(ASIC)、既製プログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウェア部品であり、本発明の実施例に開示される各方法、ステップ及び論理ボックスを実現又は実行可能なものである。汎用処理器はマイクロプロセッサ又は任意の一般処理器などである。本発明の実施例にかかる方法の各ステップは、ハードウェアであるデコーダにより実行されることで実現されてもよく、または、デコーダにお行けるハードウェアとソフトウェアとの組み合わせによって実現されても良い。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読出し専用メモリ、プログラマブル読出し専用メモリ、あるいは電気的消去可能なプログラマブルメモリ、レジスタなど、本分野で成熟した記憶媒体に記憶される。このソフトウェアが記憶される記憶媒体を備えるメモリ804から、プロセッサ802は情報を読み取り、ハードウェアに合わせて上記方法のステップを実現させる。
以上に説明した実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはそれらの組み合わせで実現される。その中に、ハードウェアの実現に関して、処理ユニットは一つまたは複数の専用集積回路(ASIC)、デジタル信号処理プロセッサ（DSP）、デジタル信号処理装置(DSPD)、プログラム可能論理回路 (PLD)、フィールドプログラマブルゲートアレイ(FPGA)、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本発明の機能を実行する他の電子ユニット或はその組合せにより実現される。
また、ソフトウェアの実現に関しては、以上で説明した機能を実現するモジュール(たとえばプロセス、関数など)により上記技術が実現される。ソフトウェアコードは、メモリに保存され、プロセッサによって実行される。なお、メモリはプロセッサの内部または外部で実現される。
具体的に、前記コンピュータプログラムがプロセッサ802により実行される場合に、前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とするステップが実現される。
また、具体的に、前記コンピュータプログラムがプロセッサ802により実行される場合に、前記複数の連続するパノラマ画像が持続する期間内に、前記目標ユーザと目標対象との平均距離を半径として、前記目標対象を一周する必要な最小速度である参照速度、及び前記目標ユーザが前記複数の連続するパノラマ画像内での平均移動速度を取得し；前記平均移動速度が前記参照速度以下である場合に、前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とし；及び、前記平均移動速度が前記参照速度より大きい場合に、前記目標サンプル関心曲線に対応する関心度、及び前記目標対象が前記平均移動速度と軌跡曲線により前記複数の連続するパノラマ画像内で前記目標対象を一周する可能な周数である参考周数に基づいて、前記目標サンプル関心曲線に対応する関心度と前記参照周数のいずれとも正相関関係である前記目標関心度を算出するステップが実現される。
また、具体的に、前記コンピュータプログラムがプロセッサ802により実行される場合に、前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を計算する前に、サンプル関心曲線のスケールに基づいて、前記目標ユーザの軌跡曲線に対して正規化処理を行うステップが実現される。
また、具体的に、前記コンピュータプログラムがプロセッサ802により実行される場合に、前記第3軌跡点に対してクラスタリング分析を行うことにより、前記第3軌跡点におけるノイズを除去し;前記2次元極座標を、中心点を円心とする複数の同じ大きさの扇形領域に分割し、扇形領域毎に、扇形領域おける第3軌跡点に基づいて、前記扇形領域における第3軌跡点の平均半径を半径とする軌跡サンプル点を計算し；各扇形領域の軌跡サンプル点を接続して前記目標ユーザの軌跡曲線を生成するステップが実現される。
また、具体的に、前記コンピュータプログラムがプロセッサ802により実行される場合に、各扇形領域の軌跡サンプル点を接続する前に、各扇形領域における第3軌跡点の数に基づき、各扇形領域における第3軌跡点の密度を計算する。ここで、前記密度は前記扇形領域における第3軌跡点の数と正相関し、前記扇形領域における軌跡サンプル点の半径と負相関し；扇形領域において前記密度が所定の閾値より小さい軌跡サンプル点を削除し; 扇形領域において前記密度が所定の閾値より小さい軌跡サンプル点を削除するステップが実現される。
本発明の技術分野の当業者は、以上で開示された実施例に記載された各例のユニットおよびアルゴリズムのステップが、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現されることが容易に想到される。これらの機能はハードウェアまたはソフトウェアのいずれかで実行することは、発明の特定的な適用や設計制約に依存する。当業者が特定の適用に応じた方法で上記の機能を実現させることができるが、本発明の範囲を超えるべきではない。
また、説明上便宜と簡潔性のため、上記のシステム、装置及びユニットの具体的な作業過程に関して、上記した実施例中の対応過程に参照することができることが、当業者とって明らかであるために、詳細な説明を省略する。
本発明の複数の実施例より開示された方法及び装置は別の形態でも実現可能であることは容易に想到される。例えば、上記記載された装置は模式的なものに過ぎない。例えば、前記したユニットの分割は論理的な機能の割り当ての一例に過ぎず、実際に実現の時に別の分割方式を採用しても良い。例えば、複数のユニットまたはモジュールを組み合わせるか、別のシステムに集約し、または、一部の機能を省略し、若しくは実行しなくてもよい。なお、上記表示または開示された相互的な接続または直接な接続若しくは通信可能な接続は、インターフェースを介する接続である。装置やユニット同士の間接的な接続または通信可能な接続は、電気的または機械的もしくは他の形態の接続でよい。
前記分離部材として説明したユニットは物理的に分離してもしなくてもよい。ユニットとして表示する部材は物理的なユニットであってもでなくてもよい。即ち、同一の場所にしてよく、複数のネットワークユニット上に分散してもよい。実際の需要に応じてその中の一部または全部のユニットを選択して本発明の実施例の目的を実現する。
なお、本発明の実施例にかかる各機能的ユニットは、1つの処理ユニットに集約しても良く、物理的に単独でもよく、2つ以上で一つのユニットとして集約してもよい。
前記機能は、ソフトウェア機能ユニットの形で実現し、且つ、独立製品として販売または使用する場合に、コンピュータ読取り可能な記憶媒体に記憶することができる。この場合に、本発明の技術方案は本質的、または従来技術に貢献する部分若しくは前記技術方案の部分はソフトウェア製品の形で表現される。前記コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ装置(パーソナルコンピュータ、サーバ、或はネットワークデバイスなど)により本発明の各実施例にかかる前記方法の全部或は一部のステップを実行させる複数の指令を含む。なお、前述の記憶媒体は、USBメモリ、リムーバブルディスク、ROM、RAM、磁気ディスク、あるいは光ディスクなど、プログラムコードを格納できる様々な媒体を含む。
以上は本発明の具体的な実施形態に過ぎず、本発明の保護範囲はこれに限定されることなく、当業者が本発明に開示される技術範囲内で容易に想到される変更と置換のいずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の保護範囲を基準とすべきである。

Claims (11)

  1. 目標対象に位置するパノラマカメラにより撮像された、目標ユーザを含む連続的な複数フレームのパノラマ画像を取得するステップと、
    前記連続的な複数フレームのパノラマ画像から前記目標ユーザの第１軌跡点を抽出して三次元座標系における第２軌跡点に変換し、球体表面を俯瞰する方向に前記第２軌跡点を二次元極座標系に投影し、二次元極座標系における前記目標ユーザの第３軌跡点を取得するステップと、
    前記目標ユーザの第３軌跡点に基づいてフィッティングを行うことにより、前記目標ユーザの軌跡曲線を取得するステップと、
    前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を計算し、前記目標ユーザの軌跡曲線との類似度が最も高い目標サンプル関心曲線を決定し、当該目標サンプル関心曲線に対応する関心度に基づいて、前記目標ユーザの前記目標対象に対する目標関心度を決定するステップと、を含むことを特徴とするユーザ関心推定方法。
  2. 前記目標サンプル関心曲線に対応する関心度に基づいて前記目標ユーザの前記目標対象に対する目標関心度を決定するステップは、
    前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とすること、を含むことを特徴とする請求項１に記載のユーザ関心推定方法。
  3. 前記目標サンプル関心曲線に対応する関心度に基づいて前記目標ユーザの前記目標対象に対する目標関心度を決定するステップは、
    参照速度、及び前記目標ユーザの前記連続的な複数フレームのパノラマ画像内での平均移動速度を取得するステップであって、前記参照速度は、前記連続的な複数フレームのパノラマ画像が持続する期間内に、前記目標ユーザと前記目標対象との平均距離を半径として前記目標対象を一周するために必要な最小速度である、ステップと、
    前記平均移動速度が前記参照速度以下である場合に、前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とするステップと、
    前記平均移動速度が前記参照速度より大きい場合に、前記目標サンプル関心曲線に対応する関心度及び参照周数に基づいて前記目標関心度を算出するステップであって、前記参照周数は、前記目標対象が前記平均移動速度と軌跡曲線により前記連続的な複数フレームのパノラマ画像内で前記目標対象を一周することが可能な周数であり、前記目標関心度は、前記目標サンプル関心曲線に対応する関心度及び前記参照周数と正相関関係にある、ステップと、を含むことを特徴とする請求項１に記載のユーザ関心推定方法。
  4. 前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を計算する前に、
    サンプル関心曲線のスケールに基づいて、前記目標ユーザの軌跡曲線に対して正規化処理を行うこと、をさらに含むことを特徴とする請求項１に記載のユーザ関心推定方法。
  5. 前記目標ユーザの第３軌跡点に基づいてフィッティングを行うことにより前記目標ユーザの軌跡曲線を取得するステップは、
    前記第３軌跡点に対してクラスタリング分析を行うことにより、前記第３軌跡点におけるノイズを除去するステップと、
    前記二次元極座標系を、中心点を円心とする複数の同一の大きさを有する扇形領域に分割し、扇形領域毎に、扇形領域おける第３軌跡点に基づいて、前記扇形領域の軌跡サンプル点を計算するステップであって、前記軌跡サンプル点の半径は前記扇形領域における第３軌跡点の平均半径である、ステップと、
    各扇形領域の軌跡サンプル点を接続して前記目標ユーザの軌跡曲線を生成するステップと、を含むことを特徴とする請求項１〜４の何れかに記載のユーザ関心推定方法。
  6. 各扇形領域の軌跡サンプル点を接続する前に、
    各扇形領域における第３軌跡点の数に基づいて、各扇形領域における第３軌跡点の密度を計算するステップであって、前記密度は、前記扇形領域における第３軌跡点の数と正相関関係にあり、前記扇形領域における軌跡サンプル点の半径と負相関関係にある、ステップと、
    扇形領域における前記密度が所定の閾値より小さい軌跡サンプル点を削除するステップと、をさらに含むことを特徴とする請求項５に記載のユーザ関心推定方法。
  7. 目標対象に位置するパノラマカメラにより撮像された、目標ユーザを含む連続的な複数フレームのパノラマ画像を取得する画像取得手段と、
    前記連続的な複数フレームのパノラマ画像から前記目標ユーザの第１軌跡点を抽出して三次元座標系における第２軌跡点に変換し、球体表面を俯瞰する方向に前記第２軌跡点を二次元極座標系に投影し、二次元極座標系における前記目標ユーザの第３軌跡点を取得する座標変換手段と、
    前記目標ユーザの第３軌跡点に基づいてフィッティングを行うことにより、前記目標ユーザの軌跡曲線を取得する曲線フィッティング手段と、
    前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を計算し、前記目標ユーザの軌跡曲線との類似度が最も高い目標サンプル関心曲線を決定し、当該目標サンプル関心曲線に対応する関心度に基づいて、前記目標ユーザの前記目標対象に対する目標関心度を決定する関心度計算手段と、を含むことを特徴とするユーザ関心推定装置。
  8. 前記関心度計算手段は、
    前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とし、
    或いは、
    参照速度、及び前記目標ユーザの前記連続的な複数フレームのパノラマ画像内での平均移動速度を取得し、前記参照速度は、前記連続的な複数フレームのパノラマ画像が持続する期間内に、前記目標ユーザと前記目標対象との平均距離を半径として前記目標対象を一周するために必要な最小速度であり、
    前記平均移動速度が前記参照速度以下である場合に、前記目標サンプル関心曲線に対応する関心度をそのまま前記目標関心度とし、
    前記平均移動速度が前記参照速度より大きい場合に、前記目標サンプル関心曲線に対応する関心度、及び参照周数に基づいて前記目標関心度を算出し、前記参照周数は、前記目標対象が前記平均移動速度と軌跡曲線により前記連続的な複数フレームのパノラマ画像内で前記目標対象を一周することが可能な周数であり、前記目標関心度は、前記目標サンプル関心曲線に対応する関心度及び前記参照周数と正相関関係にあることを特徴とする請求項７に記載のユーザ関心推定装置。
  9. 前記曲線フィッティング手段は、
    前記第３軌跡点に対してクラスタリング分析を行うことにより、前記第３軌跡点におけるノイズを除去し、
    前記二次元極座標系を、中心点を円心とする複数の同一の大きさを有する扇形領域に分割し、扇形領域毎に、扇形領域おける第３軌跡点に基づいて、前記扇形領域の軌跡サンプル点を計算し、前記軌跡サンプル点の半径は前記扇形領域における第３軌跡点の平均半径であり、
    各扇形領域の軌跡サンプル点を接続して前記目標ユーザの軌跡曲線を生成することを特徴とする請求項７又は８に記載のユーザ関心推定装置。
  10. 前記曲線フィッティング手段は、
    各扇形領域の軌跡サンプル点を接続する前に、各扇形領域における第３軌跡点の数に基づいて、各扇形領域における第３軌跡点の密度を計算し、前記密度は、前記扇形領域における第３軌跡点の数と正相関関係にあり、前記扇形領域における軌跡サンプル点の半径と負相関関係にあり、
    扇形領域における前記密度が所定の閾値より小さい軌跡サンプル点を削除することを特徴とする請求項９に記載のユーザ関心推定装置。
  11. プロセッサと、コンピュータプログラム指令が記憶されるメモリと、を含み、
    前記プロセッサが前記コンピュータプログラム指令を実行することにより、
    目標対象に位置するパノラマカメラにより撮像された、目標ユーザを含む連続的な複数フレームのパノラマ画像を取得するステップと、
    前記連続的な複数フレームのパノラマ画像から前記目標ユーザの第１軌跡点を抽出して三次元座標系における第２軌跡点に変換し、球体表面を俯瞰する方向に前記第２軌跡点を二次元極座標系に投影し、二次元極座標系における前記目標ユーザの第３軌跡点を取得するステップと、
    前記目標ユーザの第３軌跡点に基づいて曲線フィッティングを行い、前記目標ユーザの軌跡曲線を取得するステップと、
    前記目標ユーザの軌跡曲線と複数のサンプル関心曲線との類似度を算出し、前記目標ユーザの軌跡曲線との類似度が最も高い目標サンプル関心曲線を決定し、前記目標サンプル関心曲線に対応する関心度に基づいて、前記目標ユーザの前記目標対象に対する目標関心度を決定するステップと、を前記プロセッサに実行させることを特徴とするユーザ関心推定装置。
JP2019212055A 2018-12-03 2019-11-25 ユーザ関心推定方法及び装置 Active JP6844675B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811467024.2 2018-12-03
CN201811467024.2A CN111259702B (zh) 2018-12-03 2018-12-03 一种用户兴趣的估计方法及装置

Publications (2)

Publication Number Publication Date
JP2020091859A true JP2020091859A (ja) 2020-06-11
JP6844675B2 JP6844675B2 (ja) 2021-03-17

Family

ID=70948977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019212055A Active JP6844675B2 (ja) 2018-12-03 2019-11-25 ユーザ関心推定方法及び装置

Country Status (2)

Country Link
JP (1) JP6844675B2 (ja)
CN (1) CN111259702B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115050161A (zh) * 2022-03-30 2022-09-13 兰州乐智教育科技有限责任公司 一种位置监测报警方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821816B (zh) * 2022-06-28 2022-09-02 海门市三德体育用品有限公司 基于人工智能的健身场所布局优化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1048008A (ja) * 1996-08-02 1998-02-20 Omron Corp 注目情報計測方法及び装置並びにそれを用いた各種システム
JP2011100175A (ja) * 2009-11-04 2011-05-19 Nippon Hoso Kyokai <Nhk> 人物行動判定装置及びそのプログラム
JP2011238139A (ja) * 2010-05-12 2011-11-24 Fujitsu Ltd 移動体検出プログラムおよび移動体検出装置
JP2014002454A (ja) * 2012-06-15 2014-01-09 Panasonic Corp 人物検出装置及び人物検出方法
JP2015066625A (ja) * 2013-09-27 2015-04-13 株式会社国際電気通信基礎技術研究所 注目対象推定システムならびにロボットおよび制御プログラム
JP2015197689A (ja) * 2014-03-31 2015-11-09 ダイキン工業株式会社 販売支援システム
US20180211281A1 (en) * 2017-01-26 2018-07-26 Adobe Systems Incorporated Image Similarity Determination of Paths to Control Digital Content Output

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012105196A1 (ja) * 2011-02-04 2012-08-09 パナソニック株式会社 関心度推定装置および関心度推定方法
JP6035288B2 (ja) * 2014-07-16 2016-11-30 富士フイルム株式会社 画像処理システム、クライアント、画像処理方法、プログラムおよび記録媒体
US9778740B2 (en) * 2015-04-10 2017-10-03 Finwe Oy Method and system for tracking an interest of a user within a panoramic visual content
TWI578798B (zh) * 2015-11-12 2017-04-11 晶睿通訊股份有限公司 監控視訊顯示方法及電腦程式產品
CN108537721B (zh) * 2017-03-02 2021-09-07 株式会社理光 全景图像的处理方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1048008A (ja) * 1996-08-02 1998-02-20 Omron Corp 注目情報計測方法及び装置並びにそれを用いた各種システム
JP2011100175A (ja) * 2009-11-04 2011-05-19 Nippon Hoso Kyokai <Nhk> 人物行動判定装置及びそのプログラム
JP2011238139A (ja) * 2010-05-12 2011-11-24 Fujitsu Ltd 移動体検出プログラムおよび移動体検出装置
JP2014002454A (ja) * 2012-06-15 2014-01-09 Panasonic Corp 人物検出装置及び人物検出方法
JP2015066625A (ja) * 2013-09-27 2015-04-13 株式会社国際電気通信基礎技術研究所 注目対象推定システムならびにロボットおよび制御プログラム
JP2015197689A (ja) * 2014-03-31 2015-11-09 ダイキン工業株式会社 販売支援システム
US20180211281A1 (en) * 2017-01-26 2018-07-26 Adobe Systems Incorporated Image Similarity Determination of Paths to Control Digital Content Output

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
藤本 喜彦、外４名: ""店舗内に設置した全方位視覚センサによる顧客の行動解析"", 情報処理学会研究報告, vol. 2004, no. 6, JPN6021001240, 23 January 2004 (2004-01-23), JP, pages 17 - 22, ISSN: 0004429324 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115050161A (zh) * 2022-03-30 2022-09-13 兰州乐智教育科技有限责任公司 一种位置监测报警方法、装置、电子设备及存储介质
CN115050161B (zh) * 2022-03-30 2023-10-13 兰州乐智教育科技有限责任公司 一种位置监测报警方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP6844675B2 (ja) 2021-03-17
CN111259702B (zh) 2023-05-26
CN111259702A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
JP7167397B2 (ja) 点群データを処理するための方法及び装置
JP6514192B2 (ja) ライダに基づいたオブジェクト移動の分類
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
JP6109185B2 (ja) 地図に基づいた制御
JP5102410B2 (ja) 移動体検出装置および移動体検出方法
JP6471448B2 (ja) 視差深度画像のノイズ識別方法及びノイズ識別装置
US9600760B2 (en) System and method for utilizing motion fields to predict evolution in dynamic scenes
AU2018379393B2 (en) Monitoring systems, and computer implemented methods for processing data in monitoring systems, programmed to enable identification and tracking of human targets in crowded environments
EP3121791B1 (en) Method and system for tracking objects
CN112703533A (zh) 对象跟踪
JP7040633B2 (ja) 群集レベル推定のための方法、システム及びプログラム
JP7040634B2 (ja) 群集推定手法の統合及び自動切り替えのための方法、システム及びプログラム
JP6844675B2 (ja) ユーザ関心推定方法及び装置
JP4070618B2 (ja) 物体追跡方法、物体追跡装置、物体追跡方法のプログラム並びにそのプログラムを記録した記録媒体
CN110992393B (zh) 一种基于视觉的目标运动跟踪方法
JP2017199278A (ja) 検出装置、検出方法、およびプログラム
JP2014186547A (ja) 移動物体追跡システム、方法及びプログラム
JP4836065B2 (ja) エッジトラッキング方法及びそのコンピュータプログラム
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
JP6163732B2 (ja) 画像処理装置、プログラム、及び方法
Szczuko Genetic programming extension to APF-based monocular human body pose estimation
JP5643147B2 (ja) 動きベクトル検出装置、動きベクトル検出方法及び動きベクトル検出プログラム
JP2021056885A (ja) 検出装置、検出方法、及びプログラム
US11908197B2 (en) Information processing apparatus, information processing method, and storage medium
Wang et al. Online Pedestrian Tracking Using A Dense Fisheye Camera Network With Edge Computing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210208

R151 Written notification of patent or utility model registration

Ref document number: 6844675

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151