JP2023049861A - 推定プログラム、推定方法、および推定装置 - Google Patents

推定プログラム、推定方法、および推定装置 Download PDF

Info

Publication number
JP2023049861A
JP2023049861A JP2021159861A JP2021159861A JP2023049861A JP 2023049861 A JP2023049861 A JP 2023049861A JP 2021159861 A JP2021159861 A JP 2021159861A JP 2021159861 A JP2021159861 A JP 2021159861A JP 2023049861 A JP2023049861 A JP 2023049861A
Authority
JP
Japan
Prior art keywords
person
cart
skeleton information
dimensional
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021159861A
Other languages
English (en)
Inventor
厚憲 茂木
Atsunori Mogi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2021159861A priority Critical patent/JP2023049861A/ja
Priority to US17/891,546 priority patent/US20230094892A1/en
Priority to EP22191674.5A priority patent/EP4160533A1/en
Publication of JP2023049861A publication Critical patent/JP2023049861A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G06Q30/0185—Product, service or business identity fraud
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0609—Buyer or seller confidence or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】小売店の監視カメラによって撮像された画像は、２次元画像であるため、人物とカートとの位置関係が不明な場合、不正検知システムは人物のスケールを推定できない。そのため、不正検知システムは監視カメラによって撮像された画像から人物の行動を正しく認識できない場合がある。【解決手段】推定プログラムは、店内を撮像した第１の画像から、第１のカートを利用している第１の人物を特定し、第１の人物の骨格情報を生成し、骨格情報を用いて、第１の人物が第１のカートの把持部を把持している第１の間隔を取得し、第１の間隔と、第１のカートの長さの情報とに基づいて、第１の人物の第１のスケールを推定する処理をコンピュータに実行させる。【選択図】図１０

Description

本発明は、推定プログラム、推定方法、および推定装置に関する。
小売店においては、レジの混雑を解消するために、顧客自らが商品をスキャンして登録し、会計を行うシステムの導入が進んでいる。さらに近年では、顧客が、小売店の店舗内で貸し出される端末や顧客の所持する端末にインストールしたアプリケーションを用いて、レジ以外の場所、例えば、各商品をピックアップした売場で商品スキャンを行うシステムの導入が始まっている。このような顧客自らが商品スキャンを行うシステムでは、万引きなどの不正行動を検知するため、顧客が商品をとってショッピングカートに入れる動作や、その商品をスキャンする動作など顧客の行動を正しく認識し、検知することが重要になってくる。なお、ショッピングカートを、単に「カート」という場合がある。
一方、小売店において顧客の不正行動を検知するシステムとして、例えば、店舗内の監視カメラを使って、顧客の不審行動や、万引きなどの不正行動を検知するシステムが開発されている。
特表２０１４－５２４０７１号公報 特開２０２０－１７３８１６号公報 米国特許出願公開第２０２０／０１１８４０１号明細書
しかしながら、監視カメラによって撮影された映像（厳密には画像）は、２次元画像であるため、人物とカートとの位置関係が不明な場合、不正検知システムは人物のスケールを推定できない。そのため、不正検知システムは監視カメラによって撮像された画像から人物の行動を正しく認識できない場合がある。
１つの側面では、撮像画像から人物のスケールをより正確に推定できる推定プログラム、推定方法、および推定装置を提供することを目的とする。
１つの態様において、推定プログラムは、店内を撮像した第１の画像から、第１のカートを利用している第１の人物を特定し、第１の人物の骨格情報を生成し、骨格情報を用いて、第１の人物が第１のカートの把持部を把持している第１の間隔を取得し、第１の間隔と、第１のカートの長さの情報とに基づいて、第１の人物の第１のスケールを推定する処理をコンピュータに実行させる。
１つの側面では、撮像画像から人物のスケールをより正確に推定できる。
図１は、実施例１にかかる不正検知システムの構成例を示す図である。 図２は、実施例１にかかるセルフスキャンによる商品購入の一例を示す図である。 図３は、実施例１にかかるセルフスキャンによる商品購入の別例を示す図である。 図４は、実施例１にかかる不正検知処理の一例を示す図である。 図５は、実施例１にかかる物体検出および骨格検出の一例を示す図である。 図６は、骨格情報の例を示す図である。 図７は、全身の姿勢判定を説明する図である。 図８は、撮像画像から行動認識する場合の問題点について説明するための図である。 図９は、実施例１にかかる推定装置１０の構成例を示す図である。 図１０は、実施例１にかかるスケール推定処理の一例を示す図である。 図１１は、実施例１にかかるカートの３次元位置姿勢取得処理の一例を示す図である。 図１２は、実施例１にかかるホモグラフィ算出のための２Ｄ座標・３Ｄ座標対応関係の一例を示す図である。 図１３は、実施例１にかかる基準位置の設定の一例を示す図である。 図１４は、実施例１にかかる２Ｄ／３Ｄにおける座標系の位置関係の一例を示す図である。 図１５は、実施例１にかかる３Ｄ骨格の世界座標マッピングによる絶対３Ｄ骨格位置推定の一例を示す図である。 図１６は、実施例１にかかる動作検出処理の一例を示す図である。 図１７は、実施例１にかかる動作検出処理の別例を示す図である。 図１８は、実施例１にかかるスケール推定処理の流れを示すフローチャートである。 図１９は、実施例１にかかる動作検出処理の流れを示すフローチャートである。 図２０は、推定装置１０のハードウェア構成例を説明する図である。 図２１は、情報処理端末１０００のハードウェア構成例を説明する図である。 図２２は、セルフレジ端末４００のハードウェア構成例を説明する図である。 図２３は、ゲート用リーダ５００のハードウェア構成例を説明する図である。
以下に、本実施形態に係る推定プログラム、推定方法、および推定装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
まず、本実施形態を実施するための不正検知システムについて説明する。図１は、実施例１にかかる不正検知システムの構成例を示す図である。図１に示すように、不正検知システム１は、推定装置１０と、利用者端末１００－１～１００－ｎ（ｎは任意の整数。以下、まとめて「利用者端末１００」という）とが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。
また、推定装置１０は、カメラ装置２００－１～２００－ｍ（ｍは任意の整数。以下、まとめて「カメラ装置２００」という）や店員端末３００ともネットワーク５０を介して相互に通信可能に接続される。
ネットワーク５０には、有線や無線を問わず、例えば、小売店の店舗内で利用されるイントラネットなどの各種通信網を採用できる。また、ネットワーク５０は、単一のネットワークではなく、例えば、イントラネットとインターネットとがゲートウェイなどネットワーク装置やその他の装置（図示せず）を介して構成されてよい。なお、小売店の店舗内は、屋内に限定されず、敷地内の屋外を含んでよい。
推定装置１０は、例えば、小売店の店舗内に設置され、店舗スタッフや管理者などによって使用されるデスクトップＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。
推定装置１０は、カメラ装置２００によって小売店の店舗内や敷地内など所定の撮像範囲を撮像した複数の画像を、カメラ装置２００から受信する。なお、複数の画像とは、厳密には、カメラ装置２００によって撮影される映像、すなわち、動画の一連のフレームである。
また、推定装置１０は、既存の物体検知技術を用いて、撮像画像から、店舗に滞在する顧客（以下、単に「人物」という場合がある）、当該人物が持つ買い物カゴ（以下、単に「カゴ」という場合がある）やショッピングカート、利用者端末１００を特定する。また、推定装置１０は、既存の骨格検出技術を用いて、撮像画像から、特定された人物の骨格情報を生成して人物の位置や姿勢、スケールを推定し、カートを把持する動作や、商品をカゴやカートに入れる動作などを検出する。ここでスケールとは、例えば、人物の身長に対する尺度であり、推定装置１０は、撮像画像に写る様々な人物のスケールを、撮像画像に写るカートの長さの情報などに基づいて推定する。これにより、推定装置１０は、人物のスケールに基づいて、例えば、人物とカートとの位置関係を推定でき、人物の行動認識の精度を向上させることができる。
なお、図１では、推定装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。また、推定装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドコンピュータ装置であってもよい。
利用者端末１００は、商品を購入するために、顧客自らが商品のバーコードなどをスキャンして購入商品の登録を行うための情報処理端末である。利用者端末１００は、顧客が所有するスマートフォンやタブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などのモバイル端末であってもよいし、店舗内で貸し出される専用端末であってもよい。利用者端末１００には、商品をスキャンして登録などするためのアプリケーションが予めインストールされる。
カメラ装置２００は、例えば、小売店の店舗内や敷地内に設置される監視カメラである。なお、図１では、カメラ装置２００を複数台示しているが、例えば、狭い店舗などの場合は１台であってもよい。カメラ装置２００によって撮影された映像は、推定装置１０に送信される。
店員端末３００は、小売店の店員が所持するスマートフォンやタブレットＰＣなどのモバイル端末であってもよいし、店舗内の所定位置に設置されるデスクトップＰＣやノートＰＣなどの情報処理装置であってもよい。店員端末３００は、商品のスキャン漏れなど、顧客の不正行動が推定装置１０によって検知された場合に、推定装置１０からアラートを受信する。なお、店員端末３００は、例えば、店舗の店員ごとに複数存在してよいが、当該アラートが通知される端末は、例えば、出口付近の警備を担当する店員が所持する端末などに限定されてもよい。
次に、図２および図３を用いて、顧客自らが商品をスキャンして登録し（以下、「セルフスキャン」という場合がある）、商品の購入を行う方法について説明する。図２は、実施例１にかかるセルフスキャンによる商品購入の一例を示す図である。
図２に示すように、まず、顧客は、利用者端末１００に表示されるアプリケーションを介して、訪れた店舗を選択する。次に、顧客は、購入する商品を取り、例えば、商品や商品棚などに貼付された商品ごとのバーコードなどを、利用者端末１００を用いて読み取る（以下、「商品スキャン」という場合がある）。これにより、購入する商品が、アプリケーションに登録される。
次に、顧客は、セルフレジ端末４００などのディスプレイ部に表示される支払いコードをスキャンする。そして、セルフレジ端末４００の精算画面に表示された金額を支払うことで商品の購入が完了する。また、顧客は、利用者端末１００に表示された支払い完了コードを、店舗の出口などに設置されるゲート用リーダ５００などに読み取らせることで店外に出ることができる。なお、セルフレジ端末４００およびゲート用リーダ５００は、図１には示されていないが、ネットワーク５０を介して推定装置１０と相互に通信可能に接続される。
次に、セルフスキャンによる商品購入の別例について説明する。図３は、実施例１にかかるセルフスキャンによる商品購入の別例を示す図である。
図３に示すように、まず、顧客は、利用者端末１００に表示されるアプリケーションにログインし、訪れた店舗を選択する。次に、顧客は、購入する商品を取り、例えば、購入する商品や商品棚などに貼付された商品ごとのバーコードなどを、利用者端末１００を用いて読み取る。
次に、顧客は、店舗内のチェックポイントに購入商品の入ったカゴを置き、利用者端末１００に表示される「会計ボタン」や「購入ボタン」などを押下することで、購入商品の会計を実行する。なお、購入商品の支払いは、利用者端末１００に表示されるアプリケーションを介して、電子マネーやクレジットカードなどにより行うことができる。そして、顧客は、利用者端末１００に表示された決済完了コードを、店舗の出口などに設置されるゲート用リーダ５００などに読み取らせることで店外に出ることができる。
以上、図２および図３を用いて、セルフスキャンによる商品購入について説明した。しかしながら、セルフスキャンでは、例えば、顧客が商品スキャンを行わずに商品をカゴに入れ、セルフレジを通らずに支払いを免れることができてしまう。または、顧客が購入商品の一部のみをスキャンし、スキャンした商品のみをセルフレジで会計することで、一部の商品の支払いを免れることができてしまう。特に、商品の点数が少数の場合の不正行動は店員などによって発見し易いが、例えば、商品の点数が多数で一部の商品のスキャンを行わない場合などは店員などによる発見は困難である。そのため、不正検知システムは、カメラ装置２００による映像から顧客の行動を認識し、不正行動を検知する。不正検知システムによる不正検知処理について説明する。
図４は、実施例１にかかる不正検知処理の一例を示す図である。図４に示す撮像画像２５０は、カメラ装置２００によって撮像された小売店の店舗内の撮像画像の一例である。推定装置１０は、撮像画像２５０から人物や物体を特定する。次に、推定装置１０は、撮像画像２５０から特定された人物やカートなどに基づいて、例えば、人物がカートに商品を入れたか、商品スキャンを行ったか否かなどを人物の行動を判定する。そして、推定装置１０は、商品スキャンを行わなかったなど不正な行動をしている人物を対象者として検知し、店員端末３００にアラートを通知する。
ここで、撮像画像から人物や物体を特定する方法について図５を用いて具体的に説明する。図５は、実施例１にかかる物体検出および骨格検出の一例を示す図である。図５の右上に示すように、推定装置１０は、例えば、既存の物体検出アルゴリズムを用いて、撮像画像２５１から人物（person）やカート（cart）を検出して特定する。ここで、既存の物体検出アルゴリズムとは、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）など深層学習を用いた物体検出アルゴリズムである。また、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）やＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）などの物体検出アルゴリズムであってもよい。
また、人物やカゴ以外でも、例えば、商品や利用者端末１００、商品の売場や棚など、商品の販売エリア、人物の服装などが撮像画像から検出されてよい。これにより、推定装置１０は、例えば、利用者端末１００を持っているのにセルフスキャンを行わないことを検知できる。また、推定装置１０は、例えば、既存のアルゴリズムによって、撮像画像から特定された人物の年齢を判断し、人物間の親子関係などのグループ関係を特定することもできる。これにより、例えば、親子関係の場合は、対象人物のどちらか一方が商品スキャンを行えば、商品のスキャン漏れは発生していないと判定されてもよい。
また、図５の右下に示すように、推定装置１０は、例えば、既存の骨格推定アルゴリズムを用いて、撮像画像２５１から特定された人物の骨格を検出する。ここで、既存の骨格推定アルゴリズムとは、例えば、ＤｅｅｐＰｏｓｅ、ＯｐｅｎＰｏｓｅなどのＨｕｍａｎＰｏｓｅＥｓｔｉｍａｔｉｏｎなど深層学習を用いた骨格推定アルゴリズムである。
例えば、推定装置１０は、画像データ（各フレーム）を訓練済みの機械学習モデルに入力することで、骨格情報を取得する。図６は、骨格情報の例を示す図である。骨格情報は、公知の骨格モデルで特定される各関節をナンバリングした、１８個（０番から１７番）の定義情報を用いることができる。例えば、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。したがって、推定装置１０は、図６に示した１８個の骨格の座標情報を、画像データから取得することができる。例えば、推定装置１０は、７番の右肩関節の位置として「Ｘ座標＝Ｘ７、Ｙ座標＝Ｙ７、Ｚ座標＝Ｚ７」を取得する。なお、例えば、Ｚ軸は、撮像装置から対象に向けた距離方向、Ｙ軸は、Ｚ軸に垂直な高さ方向、Ｘ軸は、水平方向と定義することができる。
また、推定装置１０は、骨格のパターンをあらかじめ訓練した機械学習モデルを用いて、立つ・歩く・しゃがむ・座る・寝るなどの全身の姿勢を判定することもできる。例えば、推定装置１０は、図６の骨格情報や美技図のような一部の関節と関節間の角度をMultilayer Perceptronで訓練した機械学習モデルを用いることで、最も近い全身の姿勢を判定することもできる。図７は、全身の姿勢判定を説明する図である。図７に示すように、推定装置１０は、１０番の「HIP_LEFT」と１１番の「KNEE_LEFT」との間の関節の角度（ａ）、１４番の「HIP_RIGHT」と１５番の「KNEE_RIGHT」との間の関節の角度（ｂ）、１１番の「KNEE_LEFT」の角度（ｃ）、１５番の「KNEE_RIGHT」の角度（ｄ）などを取得することで、全身の姿勢を検知することができる。
また、推定装置１０は、一部の関節と関節間の角度とを特徴量とし、立つ、しゃがむなどといった全身の姿勢を正解ラベルとして機械学習により生成した、Ｍｕｌｔｉ Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎなどの機械学習モデルを用いて姿勢を推定してもよい。
また、推定装置１０は、姿勢推定アルゴリズムとして、１枚の撮像画像から３次元的な姿勢を推定するＶＮｅｃｔなどの３Ｄ Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎを用いてもよい。また、推定装置１０は、例えば、２次元の骨格情報から３次元の関節データを生成する３ｄ－ｐｏｓｅ－ｂａｓｅｌｉｎｅを用いて、３次元の関節データから姿勢を推定してもよい。
また、推定装置１０は、人物の顔や腕、肘などといった部位ごとの向きや曲げた場合の角度などに基づいて部位別の動作を特定し、人物の姿勢を推定してもよい。なお、姿勢推定や骨格推定のアルゴリズムは１種類に限定されず、複数のアルゴリズムを用いて複合的に姿勢や骨格が推定されてよい。
しかしながら、カメラ装置２００による撮像画像は、２次元画像であるため、人物とカートとの位置関係が不明な場合、推定装置１０は人物のスケールを推定できず、推定装置１０は撮像画像から人物の行動を正しく認識できないという問題点がある。
図８は、撮像画像から行動認識する場合の問題点について説明するための図である。図８に示すように、例えば、撮像画像２５１に人物１５０と、カート１６０が重なって写っていた場合、人物１５０とカート１６０との位置関係が不明なため、人物１５０がカート１６０を把持しているのか否かについて正しく認識されない場合がある。すなわち、撮像画像２５１の撮像方向を正面として横から見た場合を想定すると、図８の下段に示すように、人物１５０は、カート１６０の直ぐ後ろにいるのか、カート１６０の奥にいるのか、どちらが正しいのか撮像画像から認識されない場合がある。
ここで、店舗で取り扱うカート１６０の長さの情報は予めわかり、推定装置１０に保持できるため、人物１５０のスケールがわかれば、推定装置１０は、人物１５０とカート１６０との位置関係を推定できる。そこで、本実施形態は、カメラ装置２００によって撮像された小売店の店舗内や敷地内の撮像画像から人物のスケールをより正確に推定し、延いては人物の行動をより正確に認識することを目的の一つとする。
［推定装置１０の機能構成］
次に、本実施形態の実行主体となる推定装置１０の機能構成について説明する。図９は、実施例１にかかる推定装置１０の構成例を示す図である。図９に示すように、推定装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
通信部２０は、利用者端末１００やカメラ装置２００など、他の装置との間の通信を制御する処理部であり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェースや、ネットワークインタフェースカードなどの通信インタフェースである。
記憶部３０は、各種データや、制御部４０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。例えば、記憶部３０は、人物の３次元骨格情報を推定するための人骨格３Ｄモデルや、物体の姿勢を推定するための物体３Ｄモデルなどを記憶する。
また、記憶部３０は、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像を記憶する。また、記憶部３０は、当該撮像画像に対して特定された人物や物体の画像中の位置情報を記憶できる。また、記憶部３０は、カメラ装置２００によって撮像された撮像画像から特定された人物の２次元骨格情報を記憶する。また、記憶部３０は、カートの把持部の長さなど、カートの長さ情報を記憶する。
なお、記憶部３０に記憶される上記情報はあくまでも一例であり、記憶部３０は、上記情報以外にも様々な情報を記憶できる。
制御部４０は、推定装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部４０は、画像取得部、物体検出部、物体姿勢推定部、人領域検出部、２Ｄ骨格推定部、スケール推定部、相対３Ｄ骨格推定部、絶対３Ｄ骨格マッピング部、動作判定部などを備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
画像取得部は、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像をカメラ装置２００から取得する。
物体検出部は、ＹＯＬＯなどの既存技術を用いて、カメラ装置２００による撮像画像から物体を検出する。なお、検出された物体はバウンディングボックスによって示されてよい。
物体姿勢推定部は、例えば、機械学習モデルに、撮像画像におけるカートのバウンディングボックス内の部分画像と、カートのＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データとを入力し、カートの３次元位置および姿勢データを取得する。なお、当該機械学習モデルは、例えば、カートを撮像した撮像画像と、カートのＣＡＤデータとを特徴量とし、カートの３次元位置および姿勢データを正解ラベルとして機械学習により生成された機械学習モデルである。
人領域検出部は、カメラ装置２００による撮像画像から人物を特定し、人物の領域であるバウンディングボックスを検出する。
２Ｄ骨格推定部は、ＣＰＮ（Ｃａｓｃａｄｅｄ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋ）などの既存技術を用いて、撮像画像から特定された人物のバウンディングボックス内の部分画像から、当該人物の姿勢を推定して２次元骨格情報を生成する。
スケール推定部は、撮像画像から特定された人物の２次元骨格情報を用いて、人物がカートの把持部を両手で把持している場合の両手首の間隔を取得し、当該間隔と、カートの把持部の長さの情報とに基づいて、人物のスケールを推定する。これは、人物がカートの把持部を両手で把持している場合の両手首の間隔がカートの把持部の長さに概ね一致することによる。
なお、カメラ装置２００によって連続して撮像された複数の撮像画像における人物のバウンディングボックスとカートのバウンディングボックスとの中心座標間の距離の分散が所定の閾値以下である場合、人物がカートの把持部を把持していると判定されてよい。または、連続して撮像された複数の撮像画像において人物のバウンディングボックスとカートのバウンディングボックスとの移動速度および方向が所定の範囲内であり類似する場合に人物がカートの把持部を把持していると判定されてよい。
また、人物のスケールを推定する処理は、連続して撮像された複数の撮像画像の各々から推定された各スケールの平均値を算出し、当該平均値をその人物のスケールとして推定する処理を含んでよい。
相対３Ｄ骨格推定部は、既存技術を用いて、人物の２次元骨格情報の、例えば、腰など基準となる位置に対する各部位の３次元骨格座標を推定する。なお、相対３Ｄ骨格推定部によって推定される３次元骨格座標は、基準位置から正規化された相対的な座標であり、各部位間の寸法は実寸大とはなっていないため、本実施形態では、人物のスケールが推定される。また、相対３Ｄ骨格推定部によって推定される３次元骨格座標は、基準位置からの相対的な座標であるため、本実施形態では、世界座標に対する絶対座標が算出される。
絶対３Ｄ骨格マッピング部は、例えば、推定されたスケールとホモグラフィ変換行列とを用いて、人物の相対３次元骨格座標を、世界座標に対する絶対３次元骨格情報に変換する。なお、ホモグラフィ変換行列は、例えば、店内を撮像した撮像画像における異なる所定の４点の座標と、当該４点の各々に対応する世界座標とに基づいて算出されてよい。また、絶対３次元骨格情報は、例えば、腰部および右足部など数部位の絶対３次元骨格情報を算出し、算出された腰部および右足部の絶対座標と推定されたスケールとを用いて、他の部位の絶対座標が算出されてもよい。
動作判定部は、人物の絶対３次元骨格情報、およびカートの３次元位置および姿勢データに基づいて、例えば、人物が商品をカートに入れた動作をしたか否かなど、人物の動作を判定して検出する。
［機能詳細］
次に、推定装置１０を動作主体として実行される各処理について図１０～１７を用いて詳細に説明する。図１０は、実施例１にかかるスケール推定処理の一例を示す図である。図１０に示す人物のスケール推定処理は、撮像画像から人物が検出される度に繰り返し実行されてよい。その際、推定装置１０は、人物ごとに識別子を割り当てるなどし、同一人物の情報を対応付けて記憶する。
図１０に示す人物のスケール推定処理は、人物がカートの把持部を両手で把持している場合の両手首の間隔が把持部の長さに概ね一致することに着目し、撮像画像におけるカートの把持部とカートを把持する人物の両手首の間隔からスケールを推定するものである。なお、店舗で取り扱うカートの把持部などの長さの情報は予めわかるため、推定装置１０に記憶される。
まず、図５を用いて説明したように、推定装置１０は、ＹＯＬＯなどの既存技術を用いて、カメラ装置２００による撮像画像から人物およびカートを検出して特定する。次に、特定された人物の中から、特定されたカートを把持している人物をさらに特定する。例えば、推定装置１０は、人物のバウンディングボックスとカートのバウンディングボックスとの中心座標間の距離の分散が所定の閾値以下である場合、当該人物がカートを把持している人物であると判定する。そして、図５～７を用いて説明したように、推定装置１０は、ＣＰＮなどの既存技術を用いて、カートを把持している人物として特定された人物のバウンディングボックス内の部分画像から、人物の姿勢を推定し２次元骨格情報を検出する。
次に、推定装置１０は、既存技術を用いて、人物の２次元骨格情報の、例えば、腰など基準となる位置に対する各部位の相対的な３次元骨格座標を推定する。３次元骨格座標の推定は、図１０の下段に示すように、（１）人物が写った入力画像に対して、（２）例えば、腰の位置を基準として各部位の真値を求め、（３）腰からの各部位の相対的な３次元座標を推定するものである。
そして、推定装置１０は、推定された両手首の相対的な３次元座標と、カートの把持部の長さとを用いて、例えば、次の式（１）によりスケールｒを算出する。
Figure 2023049861000002
ここで、式（１）において、ＸｒｈおよびＸｌｈは、それぞれ、推定された右手首および左手首の相対的な３次元座標、Ｌは、カートの把持部の長さを示す。カートの把持部の長さは、予めメジャーなどを用いて計測されてよい。また、推定装置１０は、例えば、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像から、カートを把持している同一人物を特定して撮像画像ごとにスケールを推定し、推定された複数のスケールの平均値をスケールｒとしてもよい。
このように、推定装置１０は、カートを把持している人物のスケールを推定し、当該人物の行動認識時に、推定されたスケールを用いることで、人物の行動をより正確に認識できる。次に、人物の行動認識処理について説明する。本実施形態による人物の行動認識は、撮像画像から特定された人物やカートの３次元位置および姿勢を推定し、推定された３次元情報から人物の行動を認識するものである。
まず、カメラ装置２００による撮像画像から特定されたカートの３次元位置および姿勢データの取得処理について説明する。図１１は、実施例１にかかるカートの３次元位置姿勢取得処理の一例を示す図である。図１１に示す３次元位置姿勢取得処理は、人物の行動認識時に１回のみ実行されてよい。
図１１に示すように、推定装置１０は、撮像画像におけるカートのバウンディングボックス内の部分画像と、カートのＣＡＤとを、機械学習モデルに入力し、カートの３次元位置および姿勢を示す直方体領域である３次元矩形領域を取得する。ここで用いられる機械学習モデルは、カートを多方向から撮像した撮像画像を収集しておき、当該撮像画像と、カートのＣＡＤデータとを特徴量とし、撮像画像におけるカートの３次元矩形領域を正解ラベルとして機械学習により生成された機械学習モデルである。
次に、カメラ装置２００による撮像画像から特定された人物の３次元位置および姿勢データの取得処理について説明する。まず、推定装置１０は、図１０を用いて説明したように、既存技術を用いて、人物の２次元骨格情報の、例えば、腰など基準となる位置に対する各部位の相対的な３次元骨格座標を推定する。また、相対３次元骨格座標の各部位の座標に対してスケール値を乗算すれば、腰など基準となる位置に対する実スケールの相対３次元骨格情報が得られる。そして、推定装置１０は、推定されたスケールとホモグラフィ変換行列とを用いて、人物の実スケールの相対３次元骨格座標を、世界座標に対する絶対３次元骨格情報に変換する。
ここで、人物の実スケールの相対３次元骨格座標を絶対３次元骨格情報に変換する際に用いられるホモグラフィ変換行列の算出方法について説明する。図１２は、実施例１にかかるホモグラフィ算出のための２Ｄ座標・３Ｄ座標対応関係の一例を示す図である。図１２は、撮像画像２５２上の４点の２次元座標と、当該４点の各々に対応するレイアウト図２６０上の４点の世界座標である３次元座標との対応関係を示すものである。レイアウト図２６０は、撮像場所の建築時のレイアウト図などであり、撮像画像２５２に写った撮像場所を上空から見た場合のレイアウトを示す。撮像画像２５２上およびレイアウト図２６０上の同マーカーは各々、同一の場所を示す。
推定装置１０は、例えば、撮像画像２５２上の２次元座標４点と、対応するレイアウト図２６０上の３次元座標４点とを用いて、ＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）法などの既存技術を用いてホモグラフィ変換行列を算出する。ホモグラフィ変換行列は、次の式（２）によって示される。
Figure 2023049861000003
ここで、式（２）において、ｕおよびｖは、入力される２次元座標を示し、ｘ、ｙ、１（ｚ値）は、変換された３次元座標を示す。なお、式（２）によって算出される３次元座標は、ｚ値を０とする地面上の３次元座標である。そのため、本実施形態では、人物の立位時は足元位置と腰部とのｘ座標、ｙ座標が同座標であると仮定し、ｚ座標が脚長ｈｌｅｇに置き換えられる。
脚長ｈｌｅｇの算出方法について説明する。図１３は、実施例１にかかる基準位置の設定の一例を示す図である。図１３は、図７に示す全身の骨格情報に、基準位置とする腰部中心（Center hip）と足元部中心（Center ankle）を設定したものである。腰部中心と足元部中心との高さ方向、すなわち、ｚ軸方向の座標の距離からから脚長ｈｌｅｇが算出される。
図１４は、実施例１にかかる２Ｄ／３Ｄにおける座標系の位置関係の一例を示す図である。図１４の右側に示すように、足元部中心の３次元座標を（ｘ´，ｙ´，０）とすると、腰部中心の３次元座標は（ｘ，ｙ，ｈｌｅｇ）と表すことができる。ｈｌｅｇは、腰部中心と足元中心間の３次元距離にスケールを乗算した値として得る。そして、腰部中心の３次元座標（ｘ，ｙ，ｈｌｅｇ）は、腰部中心の２次元座標（ｕｃｈ，ｖｃｈ）と、次の式（３）によって表されるホモグラフィ変換行列とを用いて算出できる。
Figure 2023049861000004
式（３）は、式（２）の２次元座標および３次元座標部分を腰部中心の座標に置き換えたものである。また、式（３）において腰部中心の３次元座標（ｘ，ｙ，１）の３行目、すなわちｚ座標部分が１になっているのは、ここが１になるようにｘおよびｙの値を除算することを意味する。そして、ｚ座標部分は、次の式（４）に示すように、脚長ｈｌｅｇに置き換えられる。
Figure 2023049861000005
また、足元部中心の３次元座標（ｘ´，ｙ´，０）は、足元部中心の２次元座標（ｕｃｆ，ｖｃｆ）と、次の式（５）によって表されるホモグラフィ変換行列とを用いて算出できる。
Figure 2023049861000006
式（５）は、式（２）の２次元座標および３次元座標部分を足元部中心の座標に置き換えたものである。また、足元部中心の３次元座標（ｘ´，ｙ´，１）は、次の式（６）に示すように、ｚ座標部分が地面の座標値０に置き換えられる。
Figure 2023049861000007
以上の式（３）～（６）を用いて、推定装置１０は、腰部中心および足元部中心の絶対３次元座標を算出できる。そして、その他の部位の絶対３次元座標は、腰部中心および足元部中心の相対３次元座標および絶対３次元座標を用いて算出可能である。
図１５は、実施例１にかかる３Ｄ骨格の世界座標マッピングによる絶対３Ｄ骨格位置推定の一例を示す図である。図１５の左側に示すように、例えば、足元部中心、腰部中心、および頭部の相対３次元座標が、それぞれ、（１，３，０）、（１，３，１）、および（１，３，３）であったとする。また、図１５の右側に示すように、例えば、足元部中心および腰部中心の絶対３次元座標は、推定されたスケールとホモグラフィ変換行列とを用いて、相対３次元座標から算出され、それぞれ、（５，６，０）および（５，６，４）であったとする。
また、足元部中心および腰部中心の相対３次元座標に基づいて、腰部中心から足元部中心のベクトルは、（１，３，０）－（１，３，１）＝（０，０，－１）となる。同様に、腰部中心から頭部のベクトルは、（１，３，３）－（１，３，１）＝（０，０，２）となる。また、図１５の例ではスケールが４倍であるため、頭部の絶対３次元座標は、（５，６，４）＋（０，０，２）×４＝（５，６，１２）となる。厳密には、部位によっては回転方向の考慮も必要となるが、図１５を用いて説明したように、基準となる２部位の絶対３次元座標から、その他の部位の絶対３次元座標を算出可能である。
以上説明したように、推定装置１０は、撮像画像から特定された人物やカートの３次元情報を算出する。そして、推定装置１０は、算出された人物やカートの３次元情報を用いて、人物の動作を検出し、その行動を認識する。
図１６は、実施例１にかかる動作検出処理の一例を示す図である。図１６の左側において、人物の骨格情報は、図１５などを用いて説明したように、算出された絶対３次元座標であり、カートを囲む直方体領域は、図１１を用いて説明したように、カートの３次元位置および姿勢を示す３次元矩形領域である。
そして、図１６の右側に示すように、推定装置１０は、例えば、人物の右手首または左手首の絶対３次元座標位置が、カートの直方体領域の３次元座標位置の内側に入った場合に、人物がカートに手を入れたと判定する。これにより、推定装置１０は、例えば、人物がカートに商品を入れる動作などを検出できる。また、絶対３次元情報を用いることで、推定装置１０は、撮像画像のアングルに左右されずに、人物の動作を検出し、行動認識を行うことができる。そして、推定装置１０は、人物の行動認識により、商品の購買行動などを記憶し、不正行動の有無を判定し、不正行動を検知できる。
また、カートのみならず、商品棚など、店舗内の３次元座標位置を予め計測するなどし、推定装置１０に記憶しておくことで、認識できる人物の行動の種類を増やすことができる。図１７は、実施例１にかかる動作検出処理の別例を示す図である。例えば、商品棚の直方体領域の３次元座標位置を推定装置１０に予め記憶しておく。そして、図１７に示すように、推定装置１０は、例えば、人物の右手首または左手首の絶対３次元座標位置が、商品棚の直方体領域の３次元座標位置の内側に入った場合に、人物が商品棚に手を入れたと判定する。これにより、推定装置１０は、例えば、人物が商品棚から商品を取り出す動作などを検出できる。
［処理の流れ］
次に、推定装置１０によって実行される人物のスケールの推定処理の流れを説明する。図１８は、実施例１にかかるスケール推定処理の流れを示すフローチャートである。図１８に示すスケール推定処理は、例えば、一定時間ごと、またはカメラ装置２００から撮像画像が受信される度に実行されてよい。
まず、図１８に示すように、推定装置１０は、カメラ装置２００によって小売店の店舗内や敷地内など所定の撮像範囲が撮像された撮像画像を記憶部３０から取得する（ステップＳ１０１）。なお、本実施形態では、カメラ装置２００によって撮像された撮像画像、厳密には監視映像をリアルタイムに処理するため、撮像画像はカメラ装置２００から随時送信され、記憶部３０に記憶される。
次に、推定装置１０は、既存の物体検出アルゴリズムを用いて、ステップＳ１０１で取得した撮像画像からカートを検出する（ステップＳ１０２）。
次に、推定装置１０は、既存の物体検出アルゴリズムを用いて、ステップＳ１０１で取得した撮像画像から人物を検出し、さらに、既存の姿勢推定および骨格推定アルゴリズムを用いて、検出された人物の２次元骨格情報を検出する（ステップＳ１０３）。なお、ステップＳ１０２とステップＳ１０３との実行順は、逆であってもよいし、並列に実行されてもよい。また、撮像画像から複数の人物が検出された場合、ステップＳ１０３以降の処理は、検出した人物ごとに実行される。
次に、推定装置１０は、既存技術を用いて、ステップＳ１０３で検出した２次元骨格情報の、例えば、腰など基準となる位置に対する各部位の相対的な３次元骨格座標を推定する（ステップＳ１０４）。
次に、推定装置１０は、撮像画像から検出された人物のバウンディングボックスとカートのバウンディングボックスとに基づいて、検出された人物がカートを把持しているか否かを判定する（ステップＳ１０５）。検出された人物がカートを把持していない場合（ステップＳ１０６：Ｎｏ）、図１８に示すスケール推定処理は終了する。
一方、検出された人物がカートを把持している場合（ステップＳ１０６：Ｙｅｓ）、推定装置１０は、人物のスケールを推定する（ステップＳ１０７）。ステップＳ１０７による人物のスケール推定は、ステップＳ１０４で推定された相対３次元骨格座標に基づいて人物の両手首の間隔を取得し、当該間隔と、カートの把持部の長さの情報とに基づいて行われる。ステップＳ１０７の実行後、図１８に示すスケール推定処理は終了する。
次に、推定装置１０によって実行される人物の動作検出処理の流れを説明する。図１９は、実施例１にかかる動作検出処理の流れを示すフローチャートである。図１９に示す動作検出処理は、例えば、人物の行動認識時に１回のみ実行されてよい。
まず、図１９に示すように、推定装置１０は、カメラ装置２００によって小売店の店舗内や敷地内など所定の撮像範囲が撮像された撮像画像を記憶部３０から取得する（ステップＳ２０１）。
次に、推定装置１０は、既存の物体検出アルゴリズムを用いて、ステップＳ２０１で取得した撮像画像からカートを検出する（ステップＳ２０２）。
次に、推定装置１０は、ステップＳ２０２で検出されたカートのバウンディングボックス内の部分画像と、カートのＣＡＤとを、機械学習モデルに入力し、カートの３次元位置および姿勢を示す直方体領域である３次元矩形領域を検出する（ステップＳ２０３）。
次に、推定装置１０は、既存の物体検出アルゴリズムを用いて、ステップＳ２０１で取得した撮像画像から人物を検出し、さらに、既存の姿勢推定および骨格推定アルゴリズムを用いて、検出された人物の２次元骨格情報を検出する（ステップＳ２０４）。なお、ステップＳ２０２およびステップＳ２０３と、ステップＳ２０４との実行順は、逆であってもよいし、並列に実行されてもよい。
次に、推定装置１０は、既存技術を用いて、人物の２次元骨格情報の、例えば、腰など基準となる位置に対する各部位の３次元骨格座標を推定する（ステップＳ２０５）。
次に、推定装置１０は、ステップＳ２０５で推定された３次元骨格座標の各部位の座標に対して、ステップＳ１０７で推定したスケールを乗算して変換することで、腰など基準となる位置に対する実スケールの相対３次元骨格情報を取得する（ステップＳ２０６）。
次に、推定装置１０は、ステップＳ１０７で推定したスケールとホモグラフィ変換行列とを用いて、ステップＳ２０６で取得した相対３次元骨格座標を、世界座標に対してマッピングして絶対３次元骨格情報に変換する（ステップＳ２０７）。
次に、推定装置１０は、ステップＳ２０７で取得した絶対３次元骨格情報と、ステップＳ２０３で検出したカートの３次元位置および姿勢に基づいて、人物がカートに商品を入れる動作など、人物の動作を検出する（ステップＳ２０８）。ステップＳ２０８の実行後、図１９に示す動作検出処理は終了するが、ステップＳ２０８の動作検出により、人物の不正な行動が認識された場合、推定装置１０は、店員端末３００などにアラートを通知する。
［効果］
上述したように、推定装置１０は、店内を撮像した第１の画像から、第１のカートを利用している第１の人物を特定し、第１の人物の骨格情報を生成し、骨格情報を用いて、第１の人物が第１のカートの把持部を把持している第１の間隔を取得し、第１の間隔と、第１のカートの長さの情報とに基づいて、第１の人物の第１のスケールを推定する。
このように、推定装置１０は、撮像画像から特定されたカートを利用している人物の骨格情報を生成し、骨格情報から取得されるカートの把持間隔と、カートの長さ情報とから人物のスケールを推定する。これにより、推定装置１０は、撮像画像から人物のスケールをより正確に推定できる。
また、推定装置１０は、連続して撮像された複数の第１の画像における第１の人物のバウンディングボックスと第１のカートのバウンディングボックスとの中心座標間の距離の分散が所定の閾値以下である場合、第１の人物が把持部を把持していると判定する。
これにより、推定装置１０は、撮像画像から人物がカートを把持していることをより正確に判定できる。
また、推定装置１０によって実行される、第１のスケールを推定する処理は、複数の第１の画像の各々から推定された第１のスケールの平均値を算出し、第１のスケールとして推定する処理を含む。
これにより、推定装置１０は、撮像画像間のスケールの誤差を軽減させ、スケールをより正確に推定できる。
また、推定装置１０によって実行される、骨格情報を生成する処理は、第１の人物の２次元骨格情報を生成する処理を含み、推定装置１０は、ホモグラフィ変換行列および第１のスケールを用いて、２次元骨格情報を３次元骨格情報に変換する。
これにより、推定装置１０は、撮像画像から人物の３次元骨格情報をより正確に推定できる。
また、推定装置１０は、店内を撮像した第２の画像における異なる所定の４点の座標と、４点の各々に対応する世界座標とに基づいて、ホモグラフィ変換行列を算出する。
これにより、推定装置１０は、撮像画像から人物の３次元骨格情報をより正確に推定できる。
また、推定装置１０によって実行される、２次元骨格情報を３次元骨格情報に変換する処理は、ホモグラフィ変換行列および第１のスケールを用いて、２次元骨格情報の所定の２部位の座標を３次元骨格情報の対応する２部位の座標に変換し、２次元骨格情報、３次元骨格情報の対応する２部位の座標、および第１のスケールを用いて、３次元骨格情報における他の部位の座標を算出する処理を含む。
これにより、推定装置１０は、撮像画像から人物の３次元骨格情報をより正確に推定できる。
また、推定装置１０は、３次元骨格情報に基づいて、第１の人物の所定の行動を認識する。
これにより、推定装置１０は、撮像画像から人物の行動をより正確に認識できる。
また、推定装置１０は、カートを撮像した画像と、カートのＣＡＤデータとを特徴量とし、カートの３次元位置および姿勢データを正解ラベルとして機械学習により生成した機械学習モデルに、第１の画像における第１のカートのバウンディングボックス内の部分画像と、第１のカートのＣＡＤデータとを入力し、第１のカートの３次元位置および姿勢データを取得する。
これにより、推定装置１０は、撮像画像からカートの３次元情報をより正確に推定できる。
また、推定装置１０によって実行される、所定の行動を認識する処理は、３次元骨格情報、および第１のカートの３次元位置および姿勢データに基づいて、第１の人物が商品をカートに入れた動作を検出する処理を含む。
これにより、推定装置１０は、撮像画像から人物の行動をより正確に認識できる。
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。
また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［ハードウェア］
図２０は、推定装置１０のハードウェア構成例を説明する図である。図２０に示すように、推定装置１０は、通信インタフェース１０ａ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図２０に示した各部は、バスなどで相互に接続される。
通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１０ｂは、図９に示した機能を動作させるプログラムやデータを記憶する。
プロセッサ１０ｄは、図９に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図９などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、推定装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、画像取得部や物体検出部などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、画像取得部や物体検出部などと同様の処理を実行するプロセスを実行する。
このように、推定装置１０は、図９に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、推定装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、推定装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、図９に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
図２１は、情報処理端末１０００のハードウェア構成例を説明する図である。利用者端末１００および店員端末３００は同様の構成を有してよいため、図２１では利用者端末１００および店員端末３００をまとめて情報処理端末１０００として利用者端末１００および店員端末３００のハードウェア構成例として示す。図２１に示すように、情報処理端末１０００は、通信インタフェース１０００ａ、ＨＤＤ１０００ｂ、メモリ１０００ｃ、プロセッサ１０００ｄ、入力部１０００ｅ、表示部１０００ｆを有する。また、図２１に示した各部は、バスなどで相互に接続される。
通信インタフェース１０００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１０００ｂは、情報処理端末１０００の各機能を動作させるプログラムやデータを記憶する。
プロセッサ１００ｄは、情報処理端末１０００の各機能の処理を実行するプログラムをＨＤＤ１０００ｂなどから読み出してメモリ１０００ｃに展開することで、情報処理端末１０００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、情報処理端末１０００が有する各処理部と同様の機能を実行する。
このように、情報処理端末１０００は、情報処理端末１０００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、情報処理端末１０００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで情報処理端末１０００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理端末１０００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、情報処理端末１０００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
入力部１０００ｅは、プロセッサ１００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作や情報処理端末１０００に対するイヤホン端子の挿入などが含まれる。ここでタッチ操作とは、表示部１０００ｆに対する種々の接触動作、例えば、タップ、ダブルタップ、スワイプ、ピンチなどをいう。また、タッチ操作には、表示部１０００ｆに対し、例えば、指などの物体を近づける動作を含む。入力部１０００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。
表示部１０００ｆは、プロセッサ１０００ｄによる制御に基づいて各種視覚情報を表示する。表示部１０００ｆは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、いわゆる有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどであってよい。
図２２は、セルフレジ端末４００のハードウェア構成例を説明する図である。図２２に示すように、セルフレジ端末４００は、通信インタフェース４００ａ、ＨＤＤ４００ｂ、メモリ４００ｃ、プロセッサ４００ｄ、入力部４００ｅ、出力部４００ｆを有する。また、図２２に示した各部は、バスなどで相互に接続される。
通信インタフェース４００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ４００ｂは、セルフレジ端末４００の各機能を動作させるプログラムやデータを記憶する。
プロセッサ４００ｄは、セルフレジ端末４００の各機能の処理を実行するプログラムをＨＤＤ４００ｂなどから読み出してメモリ４００ｃに展開することで、セルフレジ端末４００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ端末４００が有する各処理部と同様の機能を実行する。
このように、セルフレジ端末４００は、セルフレジ端末４００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ端末４００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ端末４００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ端末４００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、セルフレジ端末４００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
入力部４００ｅは、プロセッサ４００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ端末４００はさらに表示部を備え、入力部４００ｅによって検知される入力操作は、当該表示部に対するタッチ操作であってよい。入力部４００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。
出力部４００ｆは、プロセッサ４００ｄによって実行されるプログラムから出力されるデータをセルフレジ端末４００に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ端末４００が表示部を備える場合、セルフレジ端末４００は出力部４００ｆを備えなくてもよい。
図２３は、ゲート用リーダ５００のハードウェア構成例を説明する図である。図２３に示すように、ゲート用リーダ５００は、ＵＳＢインタフェース５００ａ、イメージセンサ５００ｂ、発光部５００ｃ、プロセッサ５００ｄを有する。また、図２３に示した各部は、バスなどで相互に接続される。
ＵＳＢインタフェース５００ａは、他の情報処理装置との通信を行う。
イメージセンサ５００ｂは、ゲート用リーダ５００によって読み込まれる対象物が発した、または反射した光を受光し、光の明暗を電気情報に変換する。
発光部５００ｃは、高輝度ＬＥＤなどの照明光源であり、ゲート用リーダ５００によって読み込まれる対象物を読み取り易くするために光を照射する。なお、ゲート用リーダ５００によって読み込まれる対象物またはその対象物を表示する装置などが発光する場合、ゲート用リーダ５００は、発光部５００ｃを備えなくてもよい。
プロセッサ５００ｄは、発光部５００ｃを制御して対象物に対し光を照射し、イメージセンサ５００ｂを制御して対象物を電気情報に変換して読み込む。また、プロセッサ５００ｄは、ＵＳＢインタフェース５００ａを介して、読み込んだ対象物の電気情報を他の情報処理装置に送信する。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）店内を撮像した第１の画像から、第１のカートを利用している第１の人物を特定し、
前記第１の人物の骨格情報を生成し、
前記骨格情報を用いて、前記第１の人物が前記第１のカートの把持部を把持している第１の間隔を取得し、
前記第１の間隔と、前記第１のカートの長さの情報とに基づいて、前記第１の人物の第１のスケールを推定する
処理をコンピュータに実行させることを特徴とする推定プログラム。
（付記２）連続して撮像された複数の前記第１の画像における前記第１の人物のバウンディングボックスと前記第１のカートのバウンディングボックスとの中心座標間の距離の分散が所定の閾値以下である場合、前記第１の人物が前記把持部を把持していると判定する処理を前記コンピュータに実行させることを特徴とする付記１に記載の推定プログラム。
（付記３）前記コンピュータによって実行される、前記第１のスケールを推定する処理は、複数の前記第１の画像の各々から推定された前記第１のスケールの平均値を算出し、前記第１のスケールとして推定する処理を含むことを特徴とする付記１に記載の推定プログラム。
（付記４）前記コンピュータによって実行される、前記骨格情報を生成する処理は、前記第１の人物の２次元骨格情報を生成する処理を含み、
ホモグラフィ変換行列および前記第１のスケールを用いて、前記２次元骨格情報を３次元骨格情報に変換する処理を前記コンピュータに実行させることを特徴とする付記１に記載の推定プログラム。
（付記５）店内を撮像した第２の画像における異なる所定の４点の座標と、前記４点の各々に対応する世界座標とに基づいて、ホモグラフィ変換行列を算出する処理を前記コンピュータに実行させることを特徴とする付記４に記載の推定プログラム。
（付記６）前記２次元骨格情報を前記３次元骨格情報に変換する処理は、
前記ホモグラフィ変換行列および前記第１のスケールを用いて、前記２次元骨格情報の所定の２部位の座標を前記３次元骨格情報の対応する２部位の座標に変換し、
前記２次元骨格情報、前記３次元骨格情報の前記対応する２部位の座標、および前記第１のスケールを用いて、前記３次元骨格情報における他の部位の座標を算出する
処理を含むことを特徴とする付記４に記載の推定プログラム。
（付記７）前記３次元骨格情報に基づいて、前記第１の人物の所定の行動を認識する処理を前記コンピュータに実行させることを特徴とする付記４に記載の推定プログラム。
（付記８）カートを撮像した画像と、前記カートのＣＡＤデータとを特徴量とし、前記カートの３次元位置および姿勢データを正解ラベルとして機械学習により生成した機械学習モデルに、前記第１の画像における前記第１のカートのバウンディングボックス内の部分画像と、前記第１のカートのＣＡＤデータとを入力し、前記第１のカートの３次元位置および姿勢データを取得する処理を前記コンピュータに実行させることを特徴とする付記７に記載の推定プログラム。
（付記９）前記コンピュータによって実行される、前記所定の行動を認識する処理は、前記３次元骨格情報、および前記第１のカートの３次元位置および姿勢データに基づいて、前記第１の人物が商品をカートに入れた動作を検出する処理を含むことを特徴とする付記８に記載の推定プログラム。
（付記１０）店内を撮像した第１の画像から、第１のカートを利用している第１の人物を特定し、
前記第１の人物の骨格情報を生成し、
前記骨格情報を用いて、前記第１の人物が前記第１のカートの把持部を把持している第１の間隔を取得し、
前記第１の間隔と、前記第１のカートの長さの情報とに基づいて、前記第１の人物の第１のスケールを推定する
処理をコンピュータが実行することを特徴とする推定方法。
（付記１１）連続して撮像された複数の前記第１の画像における前記第１の人物のバウンディングボックスと前記第１のカートのバウンディングボックスとの中心座標間の距離の分散が所定の閾値以下である場合、前記第１の人物が前記把持部を把持していると判定する処理を前記コンピュータが実行することを特徴とする付記１０に記載の推定方法。
（付記１２）前記コンピュータによって実行される、前記第１のスケールを推定する処理は、複数の前記第１の画像の各々から推定された前記第１のスケールの平均値を算出し、前記第１のスケールとして推定する処理を含むことを特徴とする付記１０に記載の推定方法。
（付記１３）前記コンピュータによって実行される、前記骨格情報を生成する処理は、前記第１の人物の２次元骨格情報を生成する処理を含み、
ホモグラフィ変換行列および前記第１のスケールを用いて、前記２次元骨格情報を３次元骨格情報に変換する処理を前記コンピュータに実行させることを特徴とする付記１０に記載の推定方法。
（付記１４）店内を撮像した第２の画像における異なる所定の４点の座標と、前記４点の各々に対応する世界座標とに基づいて、ホモグラフィ変換行列を算出する処理を前記コンピュータが実行することを特徴とする付記１３に記載の推定方法。
（付記１５）前記２次元骨格情報を前記３次元骨格情報に変換する処理は、
前記ホモグラフィ変換行列および前記第１のスケールを用いて、前記２次元骨格情報の所定の２部位の座標を前記３次元骨格情報の対応する２部位の座標に変換し、
前記２次元骨格情報、前記３次元骨格情報の前記対応する２部位の座標、および前記第１のスケールを用いて、前記３次元骨格情報における他の部位の座標を算出する
処理を含むことを特徴とする付記１３に記載の推定方法。
（付記１６）前記３次元骨格情報に基づいて、前記第１の人物の所定の行動を認識する処理を前記コンピュータが実行することを特徴とする付記１３に記載の推定方法。
（付記１７）カートを撮像した画像と、前記カートのＣＡＤデータとを特徴量とし、前記カートの３次元位置および姿勢データを正解ラベルとして機械学習により生成した機械学習モデルに、前記第１の画像における前記第１のカートのバウンディングボックス内の部分画像と、前記第１のカートのＣＡＤデータとを入力し、前記第１のカートの３次元位置および姿勢データを取得する処理を前記コンピュータが実行することを特徴とする付記１６に記載の推定方法。
（付記１８）前記コンピュータによって実行される、前記所定の行動を認識する処理は、前記３次元骨格情報、および前記第１のカートの３次元位置および姿勢データに基づいて、前記第１の人物が商品をカートに入れた動作を検出する処理を含むことを特徴とする付記１７に記載の推定方法。
（付記１９）店内を撮像した第１の画像から、第１のカートを利用している第１の人物を特定し、
前記第１の人物の骨格情報を生成し、
前記骨格情報を用いて、前記第１の人物が前記第１のカートの把持部を把持している第１の間隔を取得し、
前記第１の間隔と、前記第１のカートの長さの情報とに基づいて、前記第１の人物の第１のスケールを推定する
処理を実行する制御部を有することを特徴とする推定装置。
（付記２０）連続して撮像された複数の前記第１の画像における前記第１の人物のバウンディングボックスと前記第１のカートのバウンディングボックスとの中心座標間の距離の分散が所定の閾値以下である場合、前記第１の人物が前記把持部を把持していると判定する処理を前記制御部が実行することを特徴とする付記１９に記載の推定装置。
（付記２１）前記制御部によって実行される、前記第１のスケールを推定する処理は、複数の前記第１の画像の各々から推定された前記第１のスケールの平均値を算出し、前記第１のスケールとして推定する処理を含むことを特徴とする付記１９に記載の推定装置。
（付記２２）前記制御部によって実行される、前記骨格情報を生成する処理は、前記第１の人物の２次元骨格情報を生成する処理を含み、
ホモグラフィ変換行列および前記第１のスケールを用いて、前記２次元骨格情報を３次元骨格情報に変換する処理を前記制御部に実行させることを特徴とする付記１９に記載の推定装置。
（付記２３）店内を撮像した第２の画像における異なる所定の４点の座標と、前記４点の各々に対応する世界座標とに基づいて、ホモグラフィ変換行列を算出する処理を前記制御部が実行することを特徴とする付記２２に記載の推定装置。
（付記２４）前記２次元骨格情報を前記３次元骨格情報に変換する処理は、
前記ホモグラフィ変換行列および前記第１のスケールを用いて、前記２次元骨格情報の所定の２部位の座標を前記３次元骨格情報の対応する２部位の座標に変換し、
前記２次元骨格情報、前記３次元骨格情報の前記対応する２部位の座標、および前記第１のスケールを用いて、前記３次元骨格情報における他の部位の座標を算出する
処理を含むことを特徴とする付記２２に記載の推定装置。
（付記２５）前記３次元骨格情報に基づいて、前記第１の人物の所定の行動を認識する処理を前記制御部が実行することを特徴とする付記２２に記載の推定装置。
（付記２６）カートを撮像した画像と、前記カートのＣＡＤデータとを特徴量とし、前記カートの３次元位置および姿勢データを正解ラベルとして機械学習により生成した機械学習モデルに、前記第１の画像における前記第１のカートのバウンディングボックス内の部分画像と、前記第１のカートのＣＡＤデータとを入力し、前記第１のカートの３次元位置および姿勢データを取得する処理を前記制御部が実行することを特徴とする付記２５に記載の推定装置。
（付記２７）前記制御部によって実行される、前記所定の行動を認識する処理は、前記３次元骨格情報、および前記第１のカートの３次元位置および姿勢データに基づいて、前記第１の人物が商品をカートに入れた動作を検出する処理を含むことを特徴とする付記２６に記載の推定装置。
（付記２８）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた推定装置であって、プロセッサは、
店内を撮像した第１の画像から、第１のカートを利用している第１の人物を特定し、
前記第１の人物の骨格情報を生成し、
前記骨格情報を用いて、前記第１の人物が前記第１のカートの把持部を把持している第１の間隔を取得し、
前記第１の間隔と、前記第１のカートの長さの情報とに基づいて、前記第１の人物の第１のスケールを推定する
処理を実行することを特徴とする推定装置。
１ 不正検知システム
１０ 推定装置
１０ａ 通信インタフェース
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
２０ 通信部
３０ 記憶部
４０ 制御部
５０ ネットワーク
１００ 利用者端末
２００ カメラ装置
２５０、２５１、２５２ 撮像画像
２６０ レイアウト図
３００ 店員端末
４００ セルフレジ端末
４００ａ 通信インタフェース
４００ｂ ＨＤＤ
４００ｃ メモリ
４００ｄ プロセッサ
４００ｅ 入力部
４００ｆ 出力部
５００ ゲート用リーダ
５００ａ ＵＳＢインタフェース
５００ｂ イメージセンサ
５００ｃ 発光部
５００ｄ プロセッサ
１０００ 情報処理端末
１０００ａ 通信インタフェース
１０００ｂ ＨＤＤ
１０００ｃ メモリ
１０００ｄ プロセッサ
１０００ｅ 入力部
１０００ｆ 表示部

Claims (11)

  1. 店内を撮像した第１の画像から、第１のカートを利用している第１の人物を特定し、
    前記第１の人物の骨格情報を生成し、
    前記骨格情報を用いて、前記第１の人物が前記第１のカートの把持部を把持している第１の間隔を取得し、
    前記第１の間隔と、前記第１のカートの長さの情報とに基づいて、前記第１の人物の第１のスケールを推定する
    処理をコンピュータに実行させることを特徴とする推定プログラム。
  2. 連続して撮像された複数の前記第１の画像における前記第１の人物のバウンディングボックスと前記第１のカートのバウンディングボックスとの中心座標間の距離の分散が所定の閾値以下である場合、前記第１の人物が前記把持部を把持していると判定する処理を前記コンピュータに実行させることを特徴とする請求項１に記載の推定プログラム。
  3. 前記コンピュータによって実行される、前記第１のスケールを推定する処理は、複数の前記第１の画像の各々から推定された前記第１のスケールの平均値を算出し、前記第１のスケールとして推定する処理を含むことを特徴とする請求項１に記載の推定プログラム。
  4. 前記コンピュータによって実行される、前記骨格情報を生成する処理は、前記第１の人物の２次元骨格情報を生成する処理を含み、
    ホモグラフィ変換行列および前記第１のスケールを用いて、前記２次元骨格情報を３次元骨格情報に変換する処理を前記コンピュータに実行させることを特徴とする請求項１に記載の推定プログラム。
  5. 店内を撮像した第２の画像における異なる所定の４点の座標と、前記４点の各々に対応する世界座標とに基づいて、ホモグラフィ変換行列を算出する処理を前記コンピュータに実行させることを特徴とする請求項４に記載の推定プログラム。
  6. 前記２次元骨格情報を前記３次元骨格情報に変換する処理は、
    前記ホモグラフィ変換行列および前記第１のスケールを用いて、前記２次元骨格情報の所定の２部位の座標を前記３次元骨格情報の対応する２部位の座標に変換し、
    前記２次元骨格情報、前記３次元骨格情報の前記対応する２部位の座標、および前記第１のスケールを用いて、前記３次元骨格情報における他の部位の座標を算出する
    処理を含むことを特徴とする請求項４に記載の推定プログラム。
  7. 前記３次元骨格情報に基づいて、前記第１の人物の所定の行動を認識する処理を前記コンピュータに実行させることを特徴とする請求項４に記載の推定プログラム。
  8. カートを撮像した画像と、前記カートのＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データとを特徴量とし、前記カートの３次元位置および姿勢データを正解ラベルとして機械学習により生成した機械学習モデルに、前記第１の画像における前記第１のカートのバウンディングボックス内の部分画像と、前記第１のカートのＣＡＤデータとを入力し、前記第１のカートの３次元位置および姿勢データを取得する処理を前記コンピュータに実行させることを特徴とする請求項７に記載の推定プログラム。
  9. 前記コンピュータによって実行される、前記所定の行動を認識する処理は、前記３次元骨格情報、および前記第１のカートの３次元位置および姿勢データに基づいて、前記第１の人物が商品をカートに入れた動作を検出する処理を含むことを特徴とする請求項８に記載の推定プログラム。
  10. 店内を撮像した第１の画像から、第１のカートを利用している第１の人物を特定し、
    前記第１の人物の骨格情報を生成し、
    前記骨格情報を用いて、前記第１の人物が前記第１のカートの把持部を把持している第１の間隔を取得し、
    前記第１の間隔と、前記第１のカートの長さの情報とに基づいて、前記第１の人物の第１のスケールを推定する
    処理をコンピュータが実行することを特徴とする推定方法。
  11. 店内を撮像した第１の画像から、第１のカートを利用している第１の人物を特定し、
    前記第１の人物の骨格情報を生成し、
    前記骨格情報を用いて、前記第１の人物が前記第１のカートの把持部を把持している第１の間隔を取得し、
    前記第１の間隔と、前記第１のカートの長さの情報とに基づいて、前記第１の人物の第１のスケールを推定する
    処理を実行する制御部を有することを特徴とする推定装置。

JP2021159861A 2021-09-29 2021-09-29 推定プログラム、推定方法、および推定装置 Pending JP2023049861A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021159861A JP2023049861A (ja) 2021-09-29 2021-09-29 推定プログラム、推定方法、および推定装置
US17/891,546 US20230094892A1 (en) 2021-09-29 2022-08-19 Computer-readable recording medium, estimation method, and estimation device
EP22191674.5A EP4160533A1 (en) 2021-09-29 2022-08-23 Estimation program, estimation method, and estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021159861A JP2023049861A (ja) 2021-09-29 2021-09-29 推定プログラム、推定方法、および推定装置

Publications (1)

Publication Number Publication Date
JP2023049861A true JP2023049861A (ja) 2023-04-10

Family

ID=83050088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021159861A Pending JP2023049861A (ja) 2021-09-29 2021-09-29 推定プログラム、推定方法、および推定装置

Country Status (3)

Country Link
US (1) US20230094892A1 (ja)
EP (1) EP4160533A1 (ja)
JP (1) JP2023049861A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929612B2 (en) 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US9247211B2 (en) * 2012-01-17 2016-01-26 Avigilon Fortress Corporation System and method for video content analysis using depth sensing
US9911290B1 (en) 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
US10535146B1 (en) 2018-07-16 2020-01-14 Accel Robotics Corporation Projected image item tracking system

Also Published As

Publication number Publication date
EP4160533A1 (en) 2023-04-05
US20230094892A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
US10373322B1 (en) Autonomous store system that analyzes camera images to track people and their interactions with items
US20200202163A1 (en) Target positioning system and target positioning method
US20150039458A1 (en) Method and system for automated retail checkout using context recognition
JP2024008245A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
Liu et al. Simple method integrating OpenPose and RGB-D camera for identifying 3D body landmark locations in various postures
Adikari et al. Non Contact Human Body Parameter Measurement Based on Kinect Sensor
EP4125056A1 (en) Information processing program, information processing method, and information processing device
CN112154488B (zh) 信息处理装置、控制方法和程序
EP4160533A1 (en) Estimation program, estimation method, and estimation device
EP4174788A1 (en) Learning program, learning method, and information processing apparatus
JP7318680B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP2023064427A (ja) 推論プログラム、学習プログラム、推論方法および学習方法
EP4202880A1 (en) Information processing program, information processing method, and information processing apparatus
US20230267743A1 (en) Computer-readable recording medium, information processing method, and information processing apparatus
JP7315049B1 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
US20230267486A1 (en) Computer-readable recording medium, information processing method, and information processing apparatus
JP7318683B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7318684B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
WO2023148856A1 (ja) 購買分析装置、購買分析方法、及び非一時的なコンピュータ可読媒体
US20230033062A1 (en) Non-transitory computer-readable recording medium, customer service detection method, and information processing device
US20230267639A1 (en) Non-transitory computer readable recording medium, distribution method, and information processing apparatus
JP2018055233A (ja) 情報処理装置、制御方法、及びプログラム
JP2023051360A (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP2024008708A (ja) 判定プログラム、判定方法、および判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240611