JP2023113838A - 物体特定方法、物体特定装置及び物体特定プログラム - Google Patents

物体特定方法、物体特定装置及び物体特定プログラム Download PDF

Info

Publication number
JP2023113838A
JP2023113838A JP2023093619A JP2023093619A JP2023113838A JP 2023113838 A JP2023113838 A JP 2023113838A JP 2023093619 A JP2023093619 A JP 2023093619A JP 2023093619 A JP2023093619 A JP 2023093619A JP 2023113838 A JP2023113838 A JP 2023113838A
Authority
JP
Japan
Prior art keywords
type
unit
information
update
correspondence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023093619A
Other languages
English (en)
Other versions
JP7552799B2 (ja
Inventor
壮馬 白石
Soma Shiraishi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2023113838A publication Critical patent/JP2023113838A/ja
Application granted granted Critical
Publication of JP7552799B2 publication Critical patent/JP7552799B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G06Q30/0185—Product, service or business identity fraud
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】人物が手に取った物体の種類を正しく特定できる物体種類特定装置、物体種類特定方法及び物体種類特定プログラムを提供する。【解決手段】物体種類特定装置は、物体の位置を取得する位置取得部と、各物体の位置におけるその物体の種類を示す情報を記憶する記憶部と、センサの情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定する判定部と、判定部により物体が取り出されたと判定された場合に、位置取得部の出力と記憶部に記憶された情報とに基づいて、取り出された物体の種類を特定する物体特定部と、判定部により物体が載置されたと判定された場合に、各物体の配置を正面側から撮像するカメラにより撮像された画像を用いて、記憶手段に記憶された情報を更新する更新部と、を備える。【選択図】図１８

Description

本発明は、対象とする物体の種類を特定する物体種類特定装置、物体種類特定方法及び物体種類特定プログラムに関する。
特定の位置に置かれた物体の種類を特定する方法が各種知られている。例えば、特許文献１には、顧客や陳列商品を撮影し、この撮影画像に基づいて商品が不正に持ち出されることを自動監視するシステムが記載されている。特許文献１に記載されたシステムは、物体が置かれた棚に向けてカメラが配置され、そのカメラで撮影された画像を解析して人物がどの商品を手に取ったかという動作認識を行う。そして、特許文献１に記載されたシステムは、メモリに記憶された情報を用いて、その人物が手に取った商品を特定する。
また、特許文献２には、棚に陳列された商品の状態を撮影画像で監視し、商品整理が必要か否かを判定する装置が記載されている。特許文献２に記載された装置も、物体が置かれた棚に向けてカメラが配置され、撮影された画像に基づいて、店員が商品整理しているか否かを判断する。
なお、特許文献３には、棚上にカメラを配置して、人物の動作認識を行うことが記載されている。
特開２００４－１７１２４０号公報 特許第５６７３８８８号公報 米国特許出願公開第２０１４／０１３２７２８号明細書
一方、特許文献１に記載されたシステムの場合、画像解析に基づいて動作認識が行われるため、人物の動作を正確に認識することは難しく、商品の種類を特定できない場合がある。
また、特許文献１に記載されたシステムの場合、人物が誤って商品を別の場所に移動させたり、新たな別の商品が棚に配置されたりすると、メモリに記憶された情報との対比が正しく行うことができない。そのため、人物が手に取った商品の種類を正しく特定できないという問題がある。これは、特許文献３に記載された方法を用いた場合も同様である。
また、特許文献２に記載された装置は、店員が商品整理しているか否かを判断するものであり、そもそも商品の種類を特定することは困難である。
そこで、本発明は、人物が手に取った物体の種類を正しく特定できる物体種類特定装置、物体種類特定方法及び物体種類特定プログラムを提供することを目的とする。
本発明による物体種類特定装置は、物体の位置を取得する位置取得手段と、各物体の位置におけるその物体の種類を示す情報を記憶する記憶手段と、センサの情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定する判定手段と、判定手段により物体が取り出されたと判定された場合に、位置取得手段の出力と記憶手段に記憶された情報とに基づいて、取り出された物体の種類を特定する物体特定手段と、判定手段により物体が載置されたと判定された場合に、各物体の配置を正面側から撮像するカメラにより撮像された画像を用いて、記憶手段に記憶された情報を更新する更新手段とを備えたことを特徴とする。
本発明による物体種類特定方法は、センサの情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定し、物体が取り出されたと判定された場合に物体の位置を取得し、各物体の位置におけるその物体の種類を示す情報を記憶する記憶手段に記憶されたその情報と、取得された物体の位置とに基づいて、取り出された物体の種類を特定し、物体が載置されたと判定された場合に、各物体の配置を正面側から撮像するカメラにより撮像された画像を用いて、記憶手段に記憶された情報を更新することを特徴とする。
本発明による記録媒体は、コンピュータに、物体の位置を取得する位置取得処理、センサの情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定する判定処理、判定処理で物体が取り出されたと判定された場合に、位置取得の取得結果と、各物体の位置におけるその物体の種類を示す情報を記憶する記憶手段に記憶されたその情報とに基づいて、取り出された物体の種類を特定する物体特定処理、および、判定処理で物体が載置されたと判定された場合に、各物体の配置を正面側から撮像するカメラにより撮像された画像を用いて、記憶手段に記憶された情報を更新する更新処理を実行させる物体種類特定プログラムを記録する。
本発明によれば、人物が手に取った物体の種類を正しく特定できる。
実施形態の物体種類特定方法が用いられる状況の例を示す説明図である。 実施形態の物体種類特定方法を実現する構成の一例を示す説明図である。 実施形態の物体種類特定装置の概略を示す説明図である。 第１の実施形態の物体種類特定装置の構成例を示すブロック図である。 撮影された画像に基づいて対応関係を設定する例を示す説明図である。 物体が変更された後のカメラ画像の例を示す説明図である。 対応関係を更新する処理の例を示す説明図である。 第１の実施形態の物体種類特定装置の動作例を示すフローチャートである。 取り出された商品を特定する処理の例を示すフローチャートである。 対応関係記憶部に記憶された情報の例を示す説明図である。 取り出し商品のリストの例を示す説明図である。 対応関係記憶部に記憶された情報を更新する処理の例を示すフローチャートである。 第１の実施形態の物体種類特定装置の変形例を示すブロック図である。 第２の実施形態の物体種類特定装置の構成例を示すブロック図である。 第２の実施形態の物体種類特定装置の動作例を示すフローチャートである。 第３の実施形態の物体種類特定装置の構成例を示すブロック図である。 第３の実施形態の物体種類特定装置の動作例を示すフローチャートである。 実施形態の物体種類特定装置の概要を示すブロック図である。 実施形態の物体種類特定装置のハードウェア構成の一例を示すブロック図である。
まず初めに、図１を参照して、実施形態の物体種類特定方法を概説する。図１は、物体種類特定方法が用いられる状況の例を示す説明図である。図１に示す例では、棚１１に複数の物体が配され、カメラ１２および情報処理端末１３を用いて、棚１１の前に存在する人物の動作が認識される。なお、物体の一例として商品が挙げられるが、物体とは、販売を目的とする商品に限定されるものではない。物体とは、形があり、人が見たり触ったりできる物、品物、品、物品を意味する。また、情報処理端末１３は、物体の種類と、その物体の位置を示す座標（以下、物体座標と記す。）とを対応付けた対応テーブル１４を保持する。以下では、物体座標に基づいて各物体の位置を特定する方法を説明するが、物体の位置を特定する方法は、物体座標に限定されない。
物体座標は、例えば、実空間上のある点を原点とする３次元空間の位置（ｘ，ｙ，ｚ）で表されていてもよく、棚１１の前面上のある点を原点とする、その前面上の２次元空間の位置（ｘ，ｙ）で表されていてもよい。図１に示す例では、各物体の位置が、棚１１の前面の左上を原点とする２次元の座標で表されている。図１に示す例では、物体座標（１，０）で特定される物体の種類が、「Ｃ」であることを表わしている。
ここで、ある物体が、その物体の物体座標が示す位置から移動した場合、対応テーブル１４に設定された物体と物体座標との対応関係と、実際の対応関係との間に齟齬が発生する。このような齟齬が発生すると、物体の認識精度が低下してしまう。そこで、本実施形態の物体種類特定方法では、実際の物体の位置に合わせて物体位置が適切に更新される。
図２は、物体種類特定方法を実現する構成の一例を示す説明図である。図２に例示する物体種類特定システム２０は、本願発明の物体種類特定装置を含むシステムの一例である。物体種類特定システム２０は、カメラ２２に接続された情報処理端末２３を用いて、棚２１の前に存在する人物の動作を認識して、棚２１上の物体座標を取得すると、対応テーブル（例えば、対応テーブル１４）を用いて対象とされる物体を認識する。また、物体種類特定システム２０は、カメラ２４および情報処理端末２５を用いて、棚２１の前面（正面側）の画像を撮影し、画像認識により物体の種類および物体座標を取得して、対応テーブル１４を更新する。なお、画像認識により取得される物体の種類は、例えば、物体の名称、商品名、大きさ、値段などである。
図３は、物体種類特定装置の概略を示す説明図である。図３に例示する表Ｔは、図１に例示する対応テーブル１４に対応する。図３に示す例では、商品の位置が二次元の座標で表され、時刻ごとの商品の位置が累積的に記録された結果を示す。表Ｔの内容は、決定された更新タイミングまたは定期的に更新される。表Ｔの時刻は、例えば更新タイミングを示している。図３に示す例では、累積的に対応関係が記録されているが、１つのマスタが設けられ、その内容が上書きされて更新されることもある。
また、図３の上側には、物体を特定する動作が例示されている。ＲＧＢカメラやデプスカメラなどのイメージセンサが、人物Ｐが棚Ｓへ手を入れる動作を検知すると、物体種類特定装置は、センサの情報に基づいて、その手を入れた位置を検知する（ステップＳ１）。例えば、検知された位置が物体座標（４，４）で特定される位置であり、時刻が１６：４５であるとすると、物体種類特定装置は、表Ｔを参照し、その物体が商品Ｂであると特定する（ステップＳ２）。
また、図３の下側には、物体の種類を認識する動作が例示されている。各物体の配置を正面側から撮像するカメラＣが設置されており、このカメラＣで棚Ｓに設置された各物体が撮像される。カメラＣは、図２のカメラ２４に対応する。本願発明では、棚に物体が載置されるタイミング、または、予め定めたタイミングで表Ｔが更新される（ステップＳ３）。このように、表Ｔが必要に応じて適切に更新されるため、画像認識の精度が向上される結果、人物が手に取った物体の種類を正しく特定できるようになる。
以下、各実施形態を図面を参照して説明する。
実施形態１．
図４は、第１の実施形態における物体種類特定装置の構成例を示すブロック図である。
本実施形態の物体種類特定装置２００は、動作認識部２０１と、物体座標取得部２０２と、物体認識部２０３と、対応関係記憶部２０４と、対応関係更新部２０５と、更新方法決定部２０６とを備えている。
動作認識部２０１は、主体の動作を認識する。本実施形態で主体とは、物体の状態に対して何らかの変化を及ぼすものであり、例えば、人やロボットなどが挙げられる。動作認識部２０１が主体の動作を認識する方法は任意である。本実施形態では、動作認識部２０１は、カメラ２２（センサ）の情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定する。このため、動作認識部２０１のことを判定部ということができる。
動作認識部２０１は、カメラ２２として、例えば、ＲＧＢカメラもしくはデプスカメラなどのイメージセンサを用い、手などの特定の部位の周辺の色や体積の変化から、主体の「物体を取り出した」、「物体を載置した」、「動作無し」などの動作を認識してもよい。デプスカメラは、通常の撮像により取得されるＲＧＢ情報と共に、カメラから撮像対象までの深度情報を計測できるカメラである。
また、例えば、物体の載置場所（例えば、物体が配置されている面）に予め圧力センサが設置されている場合、動作認識部２０１は、カメラ２２の代わりに圧力センサの情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定してもよい。
なお、動作の判定に用いられるセンサは圧力センサに限定されず、例えば、赤外線を用いたセンサなどであってもよい。また、他にも、動作認識部２０１は、動作を判断可能な任意の方法を用いて、人やロボットなどの動作を認識してもよい。
物体座標取得部２０２は、動作の対象とされた物体の位置を取得する。本実施形態では、物体座標取得部２０２は、物体の位置として物体座標を取得するものとする。そのため、物体座標取得部２０２は、物体の位置取得部と言うことができる。上述するように、物体座標は、人やロボットなどが動作の対象とする物体の配置された座標を指す。
物体座標取得部２０２は、例えば、カメラ２２により撮影された画像を用いて物体座標を取得する。具体的には、物体座標取得部２０２は、例えば、監視カメラ等のＲＧＢカメラで取得可能な画像情報から、顔や手など、人物の部位の画像上の２次元座標を特定する。物体座標取得部２０２は、特定した２次元座標と、実空間での物体座標とを予め対応付けておくことで、その画像から物体座標を取得してもよい。
また、ＲＧＢカメラではなくデプスカメラを用いた場合、人物の部位の実空間３次元座標を取得することが可能であるため、物体座標取得部２０２は、これを物体座標としてもよい。
また、画像を用いる方法以外に、物体座標取得部２０２は、上述する圧力センサを用いて物体座標を取得してもよい。例えば、物体が配置されている面に予め圧力センサなどのセンサが設置されている場合、物体座標取得部２０２は、物体に対して「取得する」（取り出される）動作が行われたときに圧力が大きく変化した座標を物体座標として取得してもよい。
ただし、物体座標取得部２０２が、物体座標を取得する方法は、上述する方法に限定されない。
対応関係記憶部２０４は、各物体の位置における物体の種類を示す情報を記憶する。具体的には、対応関係記憶部２０４は、認識対象の物体の種類と、その物体の位置する座標である物体座標との対応関係を記憶する。また、対応関係記憶部２０４は、物体と物体座標との対応関係以外にも、その対応関係を更新した更新時刻を対応付けて記憶してもよい。本実施形態では、対応関係記憶部２０４が、図１に例示する対応テーブル１４（すなわち、物体座標と物体の種類との対応関係）を保持しているものとする。
物体座標と物体の種類の対応関係は、予め設定される。図５は、撮影された画像に基づいて対応関係を設定する例を示す説明図である。例えば、物体種類特定装置２００が図２に例示するカメラ２４および情報処理端末２５に接続されているとする。この場合、カメラ２４が図５に例示するようなカメラ画像３１を取得した場合、情報処理端末２５が、カメラ画像３１のどの２次元座標が棚３２の２次元座標に対応するかを決定し、それぞれの物体ごとに物体座標を決定して対応テーブルに設定してもよい。また、対応関係記憶部２０４は、物体と物体座標との対応関係だけでなく、カメラ画像３１や他の画像により抽出された各物体の画像特徴量を物体データベース３３に記憶していてもよい。物体データベース３３は、例えば、対応関係記憶部２０４に記憶される。
物体認識部２０３は、動作の対象とされた物体の種類を認識する。具体的には、物体認識部２０３は、動作認識部２０１により物体が取り出されたと判定された場合、物体座標取得部２０２により取得された物体の位置および対応関係記憶部２０４に記憶された情報に基づいて、取り出された物体の種類を特定する。そのため、物体認識部２０３は、物体特定部と言うことができる。
物体認識部２０３は、物体座標取得部２０２が取得した物体座標と、対応関係記憶部２０４の保持する対応テーブル１４を参照し、物体座標に対応付けられた物体の種類を認識結果としてもよい。また、物体認識部２０３は、認識された物体の種類に加え、動作認識部２０１が認識した主体の動作を併せて認識結果としてもよい。
例えば、対応関係記憶部２０４が図１に例示する対応テーブル１４を記憶しているとする。そして、動作認識部２０１が、主体の“取得”の動作を認識し、物体座標取得部２０２が、物体座標（１，０）を取得したとする。この場合、物体認識部２０３は、取得された物体座標が示す位置により、動作の対象とされた物体を「Ｃ」と認識する。このとき、物体認識部２０３は、物体「Ｃ」を認識結果としてもよく、動作も含めた『物体「Ｃ」を“取得”』という内容を認識結果としてもよく、さらに物体座標も含めた『物体「Ｃ」を物体座標（１，０）から“取得”』という内容を認識結果としてもよい。
ただし、物体認識部２０３が、動作の対象とされた物体を認識する方法は、上述する方法に限定されない。上述する例では、物体認識部２０３が、物体座標が一致する物体の種類を対応テーブル１４から取得しているが、物体座標が一定の範囲内の場合にも、対応する物体の種類を取得してもよい。
例えば、ｐ（ｏ）が対応テーブル１４の物体ｏに紐づけられた物体座標、Ｄｉｓｔａｎｃｅ（ｐ１，ｐ２）がｐ１とｐ２の距離、ｔｈｒｅｓｈｏｌｄｄｉｓｔを閾値、対応テーブル１４の物体の種類を集合Ｏとすると、物体の同一性は、以下に例示する式１で表される。
Figure 2023113838000002
対応関係更新部２０５は、対応関係記憶部２０４に記憶された物体の種類を示す情報とその物体の位置との対応関係を更新する。具体的には、対応関係更新部２０５は、動作認識部２０１により物体が載置されたと判定された場合に、その物体の種類および位置を更新する。本実施形態では、対応関係更新部２０５は、カメラ２４によって各物体の配置を正面側から撮影した画像を用いて対応関係記憶部２０４に記憶された情報を更新する。
対応関係更新部２０５は、カメラ２４で撮影された画像（例えば、図５に例示するカメラ画像３１）から物体座標および物体の種類を認識し、その画像とデータベース（例えば、図５に例示する物体データベース３３）に記憶された画像特徴量とのマッチングを行うことで、物体の種類と画像上での物体座標とを特定する。そして、対応関係更新部２０５は、対応関係記憶部２０４に記憶された対応関係を参照し、特定した物体座標と物体の種類との対応関係を更新する。
図６は、物体が変更された後のカメラ画像の例を示す説明図である。また、図７は、対応関係を更新する処理の例を示す説明図である。例えば、カメラ２４が、図６に例示するカメラ画像を撮影した場合、対応関係更新部２０５は、撮影されたカメラ画像から物体の種類と画像上での物体座標とを特定する。この例の場合、対応関係更新部２０５は、図５に例示する初期状態から、物体座標（１，０）で示す位置の物体が「Ｃ」から「Ｘ」に変更され、物体座標（１，１）で示す位置の物体が「Ｄ」から「Ｙ」に変更されていると特定する。そこで、対応関係更新部２０５は、物体座標（１，０）に対応する物体を「Ｘ」に更新し、物体座標（１，１）に対応する物体を「Ｙ」に更新する。
更新方法決定部２０６は、対応関係記憶部２０４が記憶する対応関係の更新方法を決定する。すなわち、対応関係更新部２０５は、更新方法決定部２０６の決定に基づいて対応関係記憶部２０４の情報を更新する。なお、更新方法が予め定められている場合、物体種類特定装置２００は、更新方法決定部２０６を備えていなくてもよい。
なお、本実施形態では、動作認識部２０１により物体が載置されたと判定された場合に、対応関係更新部２０５がその物体の種類および位置を更新する。そのため、更新方法決定部２０６は、動作認識部２０１により物体が載置されたことを検出し、検出されたタイミングを更新タイミングＴ１００と決定する。ただし、更新方法決定部２０６が決定する更新タイミングは、物体が載置されたタイミングに限定されない。以下、更新タイミングを決定する他の方法を説明する。
更新方法決定部２０６は、例えば、更新タイミングＴ１０１を予め定めた時間間隔と決定してもよい。例えば、時間間隔を予め３０分と定めた場合、更新方法決定部２０６は、更新タイミングＴ１０１を、９：００，９：３０，１０：００・・・と決定してもよい。
また、更新方法決定部２０６は、カメラ画像を用いて更新タイミングＴ１０２を決定してもよい。具体的には、更新方法決定部２０６は、前回の対応関係記憶部２０４の更新時に用いられた画像と、新たに撮影された画像との差分が大きい（すなわち、両画像の差分が所定の閾値を上回る）場合、その画像が撮影した時刻を更新タイミングＴ１０２と決定してもよい。
更新方法決定部２０６は、例えば、固定カメラで撮影された複数の時刻のカメラ画像を取得し、画像中の対象領域の背景差分を算出する。このとき、更新方法決定部２０６は、一定以上の変化が検出された時刻を更新タイミングＴ１０２と決定してもよい。ここで、対象領域とは、例えば、物体が設置された棚の前面であってもよいし、棚の周辺の環境であってもよい。
また、更新方法決定部２０６は、物体を配置した面に設置されたセンサから取得される情報を用いて、更新タイミングＴ１０３を決定してもよい。例えば、物体を配置した面に圧力センサが設置されている場合、更新方法決定部２０６は、その圧力センサから時系列に出力値を受信し、その出力値の変化が予め指定した閾値を超過した時刻を更新タイミングＴ１０３としてもよい。
また、更新方法決定部２０６は、考慮される複数の更新タイミングに基づいて、新たな更新タイミングを再決定してもよい。更新方法決定部２０６は、例えば、上述する更新タイミングＴ１００，Ｔ１０１，Ｔ１０２，Ｔ１０３のいずれかが決定された場合に更新のキューを発生させ、そのキューが存在する場合に、別の方法によって更新タイミングＴ１０４を再決定してもよい。
例えば、更新のキューが発生したか否かを示すフラグとしてIsToUpdatedを準備する。
更新方法決定部２０６は、更新のキューが発生した場合、フラグIsToUpdated=trueに設定する。フラグIsToUpdated=trueの場合にのみ、更新方法決定部２０６は、カメラで撮影された画像の対象領域中に、認識対象である物体以外の他の物体または人物の検出を行う。
他の物体または人物が検出されなかった場合、更新方法決定部２０６は、検出されないタイミングを更新タイミングＴ１０４としてもよい。なお、更新方法決定部２０６は、更新タイミングＴ１０４を決定したタイミングで、フラグIsToUpdated=falseに設定しておけばよい。
例えば、カメラによる更新方法だけで判断すると、更新タイミング対象を遮るもの（例えば、人物など）が存在した場合、更新が適切に行われないおそれがある。しかし、本実施形態では、更新方法決定部２０６が、複数の情報に基づいて更新方法を決定するため、不適切な更新が行われることを抑制できる。
動作認識部２０１と、物体座標取得部２０２と、物体認識部２０３と、対応関係更新部２０５と、更新方法決定部２０６とは、プログラム（物体種類特定プログラム）に従って動作するコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現される。例えば、図１９に示すように、プログラムは、物体種類特定装置２００の記憶部（例えば、対応関係記憶部２０４）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、動作認識部２０１、物体座標取得部２０２、物体認識部２０３、対応関係更新部２０５および更新方法決定部２０６として動作してもよい。
また、動作認識部２０１と、物体座標取得部２０２と、物体認識部２０３と、対応関係更新部２０５と、更新方法決定部２０６とは、それぞれが専用のハードウェアで実現されていてもよい。また、上記物体種類特定装置は、２つ以上の物理的に分離した装置が有線または無線で接続されることにより構成されていてもよい。対応関係記憶部２０４は、例えば、磁気ディスク装置により実現される。
次に、本実施形態の物体種類特定装置の動作を説明する。図８は、本実施形態の物体種類特定装置の動作例を示すフローチャートである。なお、対応関係記憶部２０４は、各物体の位置における物体の種類を示す情報を記憶しているとする。
まず、動作認識部２０１は、人物が棚に手を入れる動作を行ったか否かを検出する（ステップＳ１０１）。動作認識部２０１は、例えば、ＲＧＢカメラやデプスカメラから取得される情報に基づいて、人物が棚に手を入れる動作を検出する。
人物が棚に手を入れる動作が検出された場合（ステップＳ１０２におけるＹＥＳ）、動作認識部２０１は、その動作が、物体を取り出す動作か物体を載置する動作かを判定する（ステップＳ１０３）。動作認識部２０１は、例えば、カメラ２２で撮影された画像や棚のスイッチ（圧力センサ）から取得される情報に基づいて、人物の動作内容を判定する。
物体を取り出す動作が検出された場合（ステップＳ１０３における「取り出し」）、物体認識部２０３は、取り出された商品を特定する（ステップＳ１０４）。その後、処理はステップＳ１０８の処理に移行する。
一方、物体を載置する動作が検出された場合（ステップＳ１０３における「載置」）、更新方法決定部２０６は、更新タイミングを決定する（ステップＳ１０５）。なお、人物が棚に手を入れる動作が検出されない場合（ステップＳ１０２におけるＮＯ）、かつ定期更新時刻になった場合（ステップＳ１０６におけるＹＥＳ）、更新方法決定部２０６は、更新タイミングを決定する（ステップＳ１０５）。
対応関係更新部２０５は、決定された更新タイミングに基づいて対応関係記憶部２０４に記憶された情報を更新する（ステップＳ１０７）。その後、処理はステップＳ１０８の処理に移行する。
ステップＳ１０６において更新時刻になっていない場合（ステップＳ１０６におけるＮＯ）、または、ステップＳ１０４もしくはステップＳ１０７の後、動作認識部２０１は、一連の処理の終了時刻になっているか否かを判断する（ステップＳ１０８）。終了時刻になっていない場合（ステップＳ１０８におけるＮＯ）、ステップＳ１０１以降の処理が行われる。一方、終了時刻になっている場合（ステップＳ１０８におけるＹＥＳ）、処理が終了する。
図９は、図８のステップＳ１０４において、取り出された商品を特定する処理の例を示すフローチャートである。動作認識部２０１が物体を取り出す動作を検出すると、物体座標取得部２０２は、動作の対象とされた物体座標を特定する（ステップＳ１１１）。物体認識部２０３は、対応関係記憶部２０４に記憶された対応する座標の情報を読み取る（ステップＳ１１２）。
図１０は、対応関係記憶部２０４に記憶された情報の例を示す説明図である。図１０に示す例では、物体座標（１，０）で表される位置に商品Ａが配置され、物体座標（１，１）で表される位置に商品Ｂが配置されていることを示す。例えば、物体座標取得部２０２が物体座標（１，１）を取得した場合、物体認識部２０３は、対応関係記憶部２０４から座標（１，１）の商品Ｂを読み取る。これにより、物体認識部２０３は、取り出された商品を特定する。
その後、物体認識部２０３は、取り出された商品のリストを作成してもよい（ステップＳ１１３）。図１１は、取り出し商品のリストの例を示す説明図である。図１１に示す例では、リストが、取得した物体座標、商品名および時刻を含むことを示す。なお、物体認識部２０３は、リアルタイムで商品名をリストに書き出してもよく、このリストを用いて、後にオフライン解析してもよい。
図１２は、図８のステップＳ１０７において、対応関係記憶部２０４に記憶された情報を更新する処理の例を示すフローチャートである。更新タイミングが決定されると、更新方法決定部２０６は、カメラ２４で撮影された画像の対象領域中の人物を認識する（ステップＳ１２１）。画像の対象領域中に人物が認識された場合（ステップＳ１２２におけるＹＥＳ）、ステップＳ１２１の処理に戻る。一方、画像の対象領域中に人物が認識されなかった場合（ステップＳ１２２におけるＮＯ）、物体認識部２０３は、載置された商品を認識する（ステップＳ１２３）。
そして、対応関係更新部２０５は、対応関係記憶部２０４に記憶された対応テーブル１４の情報を更新する（ステップＳ１２４）。このとき、対応関係更新部２０５は、対応関係記憶部２０４の同じテーブルを更新する代わりに、新たなテーブルまたはレコードを作成することで、商品と位置との対応関係を管理させてもよい。
以上のように、本実施形態では、動作認識部２０１が、センサの情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定する。動作認識部２０１により物体が取り出されたと判定された場合に、物体認識部２０３が、物体の位置を取得する物体座標取得部２０２の出力と、対応関係記憶部２０４に記憶された情報（物体の種類とその物体の位置との関係）とに基づいて、取り出された物体の種類を特定する。一方、動作認識部２０１により物体が載置されたと判定された場合に、対応関係更新部２０５は、カメラ２４により撮像された画像を用いて対応関係記憶部２０４に記憶された情報を更新する。そのような構成により、人物が手に取った物体の種類を正しく特定できる。
すなわち、本実施形態では、２つのハードウェア（カメラ２２（センサ）およびカメラ２４）を互いに連携させており、一方のハードウェアによる検知をトリガとして他方のハードウェアを動作させている。そのような構成により、人物が手に取った物体の種類を正しく特定することが可能になる。
一般に、陳列棚の同じ位置には、同じ商品が配置される。そのため、物体が取り出されても、一般に物体の種類は変わらないため、対応テーブル１４の内容を更新する必要性は少ない。一方、陳列棚のある位置に物体が載置された場合、その物体の内容は不明であることが多いため、本実施形態では、物体の載置を検知して対応テーブル１４の更新が行われる。
また、本実施形態では、更新方法決定部２０６が対応テーブル１４を更新するタイミングを適切に決定し、対応関係更新部２０５が、対応テーブル１４を実際の状態に合わせて更新する。そのため、動作の対象とされる物体の認識を精度よく行うことができる。
次に、本実施形態の変形例を説明する。図１３は、第１の実施形態の物体種類特定装置２００の変形例を示すブロック図である。図１３に例示する物体種類特定装置２００ａは、動作認識部２０１と、物体座標取得部２０２と、物体認識部２０３と、対応関係記憶部２０４と、対応関係更新部２０５と、更新方法決定部２０６と、特徴量変換部２０７とを備えている。すなわち、本変形例の物体種類特定装置２００は、第１の実施形態の物体種類特定装置２００に対し、さらに特徴量変換部２０７を備えている。
第１の実施形態では、対応関係記憶部２０４に記憶された情報（データベース）を複数の装置（カメラ２２、カメラ２４などのセンサ）で共有している。そこで、特徴量変換部２０７は、カメラ２４で撮影された画像中の物体の色情報や大きさなどの特徴量を対応関係記憶部２０４（例えば、物体データベース３３）に登録し、さらに、その特徴量をカメラ２２（センサ）で使用可能な形式に変換する。具体的には、特徴量変換部２０７は、カメラ２４によって撮影された画像を物体認識部２０３による物体の種類の特定に使用可能な形式に変換する。
この場合、物体認識部２０３は、カメラ２４で撮影された物体のサイズに基づいて、カメラ２２（センサ）側で大きさを基準に物体を認識することが可能になる。また、物体認識部２０３は、カメラ２４で撮影された色情報に基づいて、カメラ２２（センサ）側でマッチングを行うことも可能になる。すなわち、このような変換された情報を用いることで、物体の認識精度を上げることが可能になる。さらに、このような変換を行う場合、物体の位置を特徴量の一つとして用いることも可能になる。
実施形態２．
次に、第２の実施形態を説明する。図１４は、第２の実施形態の物体種類特定装置の構成例を示すブロック図である。本実施形態の物体種類特定装置３００は、動作認識部３０１と、物体座標取得部３０２と、物体認識部３０３と、対応関係記憶部３０４と、対応関係更新部３０５と、更新方法決定部３０６とを備えている。
本実施形態の動作認識部３０１、物体座標取得部３０２、物体認識部３０３および対応関係記憶部３０４は、それぞれ、第１の実施形態の動作認識部２０１、物体座標取得部２０２、物体認識部２０３および対応関係記憶部２０４と同様である。物体種類特定装置３００は、第１の実施形態の変形例の特徴量変換部２０７を備えていてもよい。
更新方法決定部３０６は、少なくとも動作認識部３０１による認識結果および物体座標取得部３０２により取得された物体座標の情報に基づいて、更新タイミングおよび更新方法を決定する。ここで、更新方法とは、更新を行う物体座標を決定する方法や、更新を行う物体の種類の候補を決定する方法を意味する。更新タイミングを決定する方法には、例えば、第１の実施形態で更新方法決定部２０６が更新タイミングを決定する方法が用いられる。
更新方法決定部３０６は、物体座標取得部３０２により取得された物体座標から予め定めた範囲内に存在する物体の位置または物体の種類を更新する対象と決定する。そして、対応関係更新部３０５は、対応関係記憶部３０４に記憶された情報のうち、決定された対象（具体的には、物体の位置と種類の対応関係）を更新する。
更新方法決定部３０６は、例えば、物体座標取得部３０２が取得した物体座標に基づいて更新方法を決定してもよい。具体的には、更新方法決定部３０６は、更新を行う物体座標に関して、物体座標取得部３０２が取得した物体座標から一定の閾値以下の距離にある座標を更新の対象と決定してもよい。
また、更新方法決定部３０６は、動作認識部３０１が物体を移動させたという動作を認識した場合に、更新方法を決定してもよい。この場合、更新方法決定部３０６は、物体座標取得部３０２により取得される移動元の物体座標および移動先の物体座標から、閾値以下の距離にある座標を更新の対象と決定してもよい。また、この場合、更新方法決定部３０６は、更新する移動先の物体の種類に関して、もともとその場所に配置されていた物体の種類、または、移動元の物体の種類の２種類に更新の候補を限定すると決定してもよい。
対応関係更新部３０５は、更新方法決定部３０６により決定された更新タイミングおよび更新方法に基づいて、対応関係記憶部３０４の情報（具体的には、対応テーブル１４の情報）を更新する。本実施形態では、対応関係更新部３０５は、更新方法決定部３０６が決定した物体座標のみにおいて、また、更新方法決定部３０６が決定した物体の種類の候補のみについて対応関係記憶部３０４が保持する対応テーブル１４を更新してもよい。
なお、第１の実施形態と同様、動作認識部３０１と、物体座標取得部３０２と、物体認識部３０３と、対応関係更新部３０５と、更新方法決定部３０６とは、プログラム（物体種類特定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
次に、本実施形態の物体種類特定装置の動作を説明する。図１５は、本実施形態の物体種類特定装置の動作例を示すフローチャートである。なお、対応関係記憶部３０４は、各物体の位置における物体の種類を示す情報を記憶しているとする。
本実施形態の動作は、図８に例示する第１の実施形態と同様である。ただし、ステップＳ２０５において、更新方法決定部３０６が更新タイミングおよび更新方法を決定する点において、第１の実施形態と異なる。
ステップＳ２０５において、更新方法決定部３０６は、物体座標取得部３０２により取得された物体座標から予め定めた範囲内に存在する物体の位置または物体の種類を更新する対象と決定する。
そして、ステップＳ１０７において、対応関係更新部３０５は、決定された更新タイミングおよび更新方法に基づいて、対応関係記憶部３０４に記憶された情報を更新する。具体的には、対応関係更新部３０５は、決定された更新タイミングで、対応関係記憶部３０４に記憶された情報のうち、決定された対象（具体的には、物体の位置と種類の対応関係）を更新する。それ以外の処理は、第１の実施形態と同様である。
以上のように、本実施形態では、更新方法決定部３０６が、物体座標取得部３０２により取得された物体の位置から予め定めた範囲内に存在する物体の位置または物体の種類を更新する対象と決定する。そして、対応関係更新部３０５が、対応関係記憶部３０４に記憶された情報のうち、決定された対象を更新する。そのような構成により、第１の実施形態の効果に加え、対応テーブル１４の更新を効率的かつ正確に行うことができる。
実施形態３．
次に、第３の実施形態を説明する。図１６は、第３の実施形態の物体種類特定装置の構成例を示すブロック図である。本実施形態の物体種類特定装置４００は、動作認識部４０１と、物体座標取得部４０２と、物体認識部４０３と、対応関係記憶部４０４と、対応関係更新部４０５と、更新方法決定部４０６と、陳列数記憶部４０７とを備えている。すなわち、本実施形態の物体種類特定装置４００は、第１の実施形態の物体種類特定装置２００または第２の実施形態の物体種類特定装置３００に対し、さらに陳列数記憶部４０７を備えている。
本実施形態の動作認識部４０１、物体座標取得部４０２および対応関係記憶部４０４は、それぞれ、第１の実施形態の動作認識部２０１、物体座標取得部２０２および対応関係記憶部２０４と同様である。物体種類特定装置４００は、第１の実施形態の変形例の特徴量変換部２０７を備えていてもよい。
陳列数記憶部４０７は、一つの物体座標に配置されている物体の種類と物体の数を含む陳列情報を記憶する。具体的には、陳列数記憶部４０７は、物体座標ごとに物体の種類とその個数を対応付けた陳列情報を保持する。陳列数記憶部４０７は、陳列順を含む陳列情報を保持してもよい。陳列数記憶部４０７には、陳列情報が予め設定される。陳列数記憶部４０７は、例えば、磁気ディスク等により実現される。
物体認識部４０３は、物体認識結果に基づいて陳列情報を更新する。具体的には、物体認識部４０３は、動作認識部４０１による動作の認識結果（具体的には、物体が取り出されたか又は物体が載置されたかを示す判定結果）に基づいて、物体の個数を更新する。
例えば、認識結果が『物体「Ｃ」を物体座標（１，０）から“取得”』である場合、物体認識部４０３は、陳列数記憶部４０７が記憶する陳列情報に含まれる物体座標（１，０）における物体「Ｃ」の個数を１減算する。
対応関係更新部４０５および更新方法決定部４０６は、第１の実施形態の対応関係更新部２０５および更新方法決定部２０６と同様である。さらに、本実施形態では、更新方法決定部４０６は、陳列数記憶部４０７に記憶された陳列情報に基づいて、更新タイミングを決定する。
更新方法決定部４０６は、動作認識部４０１により物体が取り出されたと判定され、取り出された位置の物体の個数が減算された結果、その位置の物体の個数が０になったときに対応関係記憶部４０４に記憶された情報を更新してもよい。例えば、陳列数記憶部４０７に記憶された陳列情報のうち、物体座標（１，０）における物体「Ｃ」の個数が０になると、更新方法決定部４０６は、物体座標（１，０）を即座に「物体なし」と更新すると決定する。対応関係更新部４０５は、更新方法決定部４０６の決定に基づいて、対応関係記憶部４０４が記憶する対応テーブル１４の物体座標（１，０）に対応する物体の種類を「物体なし」と更新する。
なお、一つの物体座標に配置されている物体の種類は、一種類に限られない。すなわち、陳列数記憶部４０７は、各物体座標で物体の陳列順を陳列情報として保持してもよい。
例えば、陳列数記憶部４０７が、物体座標（１，０）において「Ｃ」「Ａ」「Ａ」（先頭に物体「Ｃ」が配置され、その後ろに物体「Ａ」が２点存在）という陳列順を含む陳列情報を記憶しているとする。そして、物体認識部４０３が、『物体「Ｃ」を物体座標（１，０）から“取得”』と認識したとする。
この場合、更新方法決定部４０６は、陳列数記憶部４０７に記憶された陳列情報から、物体座標（１，０）に物体「Ａ」が配置されたことを検出する。この検出により、物体の種類が変わったことが検出されるため、更新方法決定部４０６は、物体座標（１，０）の物体の種類を即座に「Ａ」と更新すると決定する。対応関係更新部４０５は、更新方法決定部４０６の決定に基づいて、対応関係記憶部４０４が記憶する対応テーブル１４の物体座標（１，０）に対応する物体の種類を「Ａ」と更新する。
なお、第１の実施形態と同様、動作認識部４０１と、物体座標取得部４０２と、物体認識部４０３と、対応関係更新部４０５と、更新方法決定部４０６とは、プログラム（物体種類特定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
次に、本実施形態の物体種類特定装置の動作を説明する。図１７は、本実施形態の物体種類特定装置の動作例を示すフローチャートである。なお、対応関係記憶部４０４は、各物体の位置における物体の種類を示す情報を記憶しているとする。
本実施形態の動作は、図８に例示する第１の実施形態と同様である。ステップＳ１０４で取り出された商品が特定されたあと、陳列情報を更新する処理（ステップＳ３０１）が追加され、陳列情報の更新に基づいて更新タイミングを決定する処理（ステップＳ３０２）が変更されている点において、第１の実施形態と異なる。
ステップＳ３０１において、物体認識部４０３は、特定した物体の種類に応じて、陳列数記憶部４０７に記憶された陳列情報を更新する。ステップＳ３０２において、更新方法決定部４０６は、陳列数記憶部４０７に記憶された陳列情報に基づいて、更新タイミングを決定する。具体的には、更新方法決定部４０６は、物体が取り出されたと判定された場合に、取り出された位置の物体の個数が０になる、または、その位置の物体の種類が変更された場合に、対応関係記憶部４０４に記憶された情報を更新すると決定してもよい。それ以外の処理は、第１の実施形態と同様である。
以上のように、本実施形態では、陳列数記憶部４０７が、物体の位置とその物体の種類および個数を対応付けた陳列情報を記憶する。そして、物体認識部４０３が、特定した物体の種類に応じて陳列情報を更新する。具体的には、物体認識部４０３は、動作認識部４０１により物体が取り出されたと判定された場合に、陳列数記憶部４０７に記憶された陳列情報のうち取り出された位置の物体の個数を減算し、その個数が０になったときに記憶部に記憶された情報を更新する。そのような構成により、第１の実施形態の効果に加え、対応テーブル１４の更新を効率的かつ正確に行うことができる。
すなわち、本実施形態では、少なくとも陳列数記憶部４０７の保持する陳列情報に基づいて更新方法決定部４０６が更新タイミングおよび更新方法を決定し、それに基づいて対応関係更新部４０５が対応テーブル１４を更新する。そのため、対応テーブル１４の更新を効率的かつ正確に行うことが可能になる。
次に、物体種類特定装置の概要を説明する。図１８は、物体種類特定装置の概要を示すブロック図である。物体種類特定装置８０は、物体の位置（例えば、物体座標）を取得する位置取得部８１（例えば、物体座標取得部２０２）と、各物体の位置におけるその物体の種類を示す情報を記憶する記憶部８２（例えば、対応関係記憶部２０４）と、センサ（例えば、ＲＧＢカメラやデプスカメラなどのイメージセンサ）の情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定する判定部８３（例えば、動作認識部２０１）と、判定部８３により物体が取り出されたと判定された場合に、位置取得部８１の出力と記憶部８２に記憶された情報とに基づいて、取り出された物体の種類を特定する物体特定部８４（例えば、物体認識部２０３）と、判定部８３により物体が載置されたと判定された場合に、各物体の配置を正面側から撮像するカメラ（例えば、カメラ２４）により撮像された画像を用いて、記憶部８２に記憶された情報を更新する更新部８５（例えば、更新方法決定部２０６、対応関係更新部２０５）とを備えている。
そのような構成により、人物が手に取った物体の種類を正しく特定できる。
また、更新部８５（例えば、更新方法決定部３０６、対応関係更新部３０５）は、位置取得部８１により取得された物体の位置から予め定めた範囲内に存在する物体の位置または物体の種類を更新する対象と決定し、記憶部８２に記憶された情報のうち、決定された対象を更新してもよい。
また、物体種類特定装置８０は、物体の位置とその物体の種類および個数とを対応付けた陳列情報を記憶する陳列数記憶部（例えば、陳列数記憶部４０７）を備えていてもよい。そして、物体特定部８４（例えば、物体認識部４０３）は、特定した物体の種類に応じて陳列情報を更新してもよい。
具体的には、物体特定部８４は、判定部８３により物体が取り出されたと判定された場合に、陳列数記憶部に記憶された陳列情報のうち取り出された位置の物体の個数を減算し、その個数が０になったときに記憶部８２に記憶された情報を更新してもよい。
また、更新部８５は、カメラ（例えば、カメラ２４）により撮像された画像中に対象とする以外の物体または人物が検出されなかった場合に、記憶部８２に記憶された情報を更新してもよい。
また、更新部８５は、前回の記憶部の更新時に用いられた画像と新たに撮影された画像との差分が予め定めた閾値を上回る場合に、記憶部８２に記憶された情報を更新してもよい。
また、物体種類特定装置８０は、カメラによって撮影された画像を、物体特定部８４による物体の種類の特定に使用可能な形式に変換する特徴量変換部（例えば、特徴量変換部２０７）を備えていてもよい。
また、判定部８３は、物体の載置場所に設けられる圧力センサの情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定してもよい。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）物体の位置を取得する位置取得部と、各物体の位置における当該物体の種類を示す情報を記憶する記憶部と、センサの情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定する判定部と、前記判定部により物体が取り出されたと判定された場合に、前記位置取得部の出力と前記記憶部に記憶された情報とに基づいて、取り出された物体の種類を特定する物体特定部と、前記判定部により物体が載置されたと判定された場合に、各物体の配置を正面側から撮像するカメラにより撮像された画像を用いて、前記記憶部に記憶された情報を更新する更新部とを備えたことを特徴とする物体種類特定装置。
（付記２）更新部は、位置取得部により取得された物体の位置から予め定めた範囲内に存在する物体の位置または物体の種類を更新する対象と決定し、記憶部に記憶された情報のうち、決定された対象を更新する付記１記載の物体種類特定装置。
（付記３）物体の位置と当該物体の種類および個数とを対応付けた陳列情報を記憶する陳列数記憶部を備え、物体特定部は、特定した物体の種類に応じて前記陳列情報を更新する付記１または付記２記載の物体種類特定装置。
（付記４）物体特定部は、判定部により物体が取り出されたと判定された場合に、陳列数記憶部に記憶された陳列情報のうち取り出された位置の物体の個数を減算し、当該個数が０になったときに記憶部に記憶された情報を更新する付記３記載の物体種類特定装置。
（付記５）更新部は、カメラにより撮像された画像中に対象とする以外の物体または人物が検出されなかった場合に、記憶部に記憶された情報を更新する付記１から付記４のうちのいずれか１つに記載の物体種類特定装置。
（付記６）更新部は、前回の記憶部の更新時に用いられた画像と新たに撮影された画像との差分が予め定めた閾値を上回る場合に、記憶部に記憶された情報を更新する付記１から付記５のうちのいずれか１つに記載の物体種類特定装置。
（付記７）カメラによって撮影された画像を、物体特定部による物体の種類の特定に使用可能な形式に変換する特徴量変換部を備えた付記１から付記６のうちのいずれか１つに記載の物体種類特定装置。
（付記８）判定部は、物体の載置場所に設けられる圧力センサの情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定する付記１から付記７のうちのいずれか１つに記載の物体種類特定装置。
（付記９）センサの情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定し、物体が取り出されたと判定された場合に物体の位置を取得し、各物体の位置における当該物体の種類を示す情報を記憶する記憶部に記憶された当該情報と、取得された物体の位置とに基づいて、取り出された物体の種類を特定し、物体が載置されたと判定された場合に、各物体の配置を正面側から撮像するカメラにより撮像された画像を用いて前記記憶部に記憶された情報を更新することを特徴とする物体種類特定方法。
（付記１０）取得された物体の位置から予め定めた範囲内に存在する物体の位置または物体の種類を更新する対象と決定し、記憶部に記憶された情報のうち、決定された対象を更新する付記９記載の物体種類特定方法。
（付記１１）コンピュータに、物体の位置を取得する位置取得処理、センサの情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定する判定処理、前記判定処理で物体が取り出されたと判定された場合に、前記位置取得の取得結果と、各物体の位置における当該物体の種類を示す情報を記憶する記憶部に記憶された当該情報とに基づいて、取り出された物体の種類を特定する物体特定処理、および、前記判定処理で物体が載置されたと判定された場合に、各物体の配置を正面側から撮像するカメラにより撮像された画像を用いて前記記憶部に記憶された情報を更新する更新処理を実行させるための物体種類特定プログラム。
（付記１２）コンピュータに、更新処理で、位置取得処理で取得された物体の位置から予め定めた範囲内に存在する物体の位置または物体の種類を更新する対象と決定させ、記憶部に記憶された情報のうち、決定された対象を更新させる付記１１記載の物体種類特定プログラム。
この出願は、２０１６年４月６日に出願された日本出願特願２０１６－０７６５１１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上記実施形態で説明した物体種類特定装置は、例えばコンビニ等の小売店舗において、売上の良い棚配置の分析等に好適に適用される。このような分析等に物体種類特定装置を利用することで、役立つマーケティング情報を得ることが可能になる。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
１１，２１，３２ 棚
１２，２２ カメラ（センサ）
１３，２３，２５ 情報処理端末
１４ 対応テーブル
２４ カメラ
３１ カメラ画像
３３ 物体データベース
２０１，３０１，４０１ 動作認識部
２０２，３０２，４０２ 物体座標取得部
２０３，３０３，４０３ 物体認識部
２０４，３０４，４０４ 対応関係記憶部
２０５，３０５，４０５ 対応関係更新部
２０６，３０６，４０６ 更新方法決定部
２０７ 特徴量変換部
４０７ 陳列数記憶部

Claims (10)

  1. 物体の位置を取得する位置取得手段と、
    各物体の位置における当該物体の種類を示す情報を記憶する記憶手段と、
    センサの情報に基づいて、物体が取り出されたか又は物体が前記記憶手段に記憶された前記位置と異なる位置に載置されたかを判定する判定手段と、
    前記判定手段により物体が取り出されたと判定された場合に、前記位置取得手段の出力と前記記憶手段に記憶された情報とに基づいて、取り出された前記物体の種類を特定する物体特定手段と、
    前記判定手段により物体が前記異なる位置に載置されたと判定されたことに応じて、前記記憶手段に記憶された載置された前記物体の位置情報を前記異なる位置に更新する更新手段とを備えた
    ことを特徴とする物体種類特定装置。
  2. 前記更新手段は、前記位置取得手段により取得された物体の位置から予め定めた範囲内に存在する物体の位置または物体の種類を更新する対象と決定し、前記記憶手段に記憶された情報のうち、決定された対象を更新する
    請求項１記載の物体種類特定装置。
  3. 物体の位置と当該物体の種類および個数とを対応付けた陳列情報を記憶する陳列数記憶手段を備え、
    前記物体特定手段は、特定した物体の種類に応じて前記陳列情報を更新する
    請求項１または請求項２記載の物体種類特定装置。
  4. 前記物体特定手段は、前記判定手段により物体が取り出されたと判定された場合に、前記陳列数記憶手段に記憶された陳列情報のうち取り出された位置の物体の個数を減算し、当該個数が０になったときに前記記憶手段に記憶された情報を更新する
    請求項３記載の物体種類特定装置。
  5. 前記更新手段は、カメラにより撮像された画像中に対象とする以外の物体または人物が検出されなかった場合に、前記記憶手段に記憶された情報を更新する
    請求項１から請求項４のうちのいずれか１項に記載の物体種類特定装置。
  6. 前記更新手段は、前回の記憶手段の更新時に用いられた画像と新たに撮影された画像との差分が予め定めた閾値を上回る場合に、前記記憶手段に記憶された情報を更新する
    請求項１から請求項５のうちのいずれか１項に記載の物体種類特定装置。
  7. カメラによって撮影された画像を、前記物体特定手段による物体の種類の特定に使用可能な形式に変換する特徴量変換手段を備えた
    請求項１から請求項６のうちのいずれか１項に記載の物体種類特定装置。
  8. 前記判定手段は、物体の載置場所に設けられる圧力センサの情報に基づいて、物体が取り出されたか又は物体が載置されたかを判定する
    請求項１から請求項７のうちのいずれか１項に記載の物体種類特定装置。
  9. センサの情報に基づいて、物体が取り出されたか又は物体が各物体の位置における当該物体の種類を示す情報を記憶する記憶手段に記憶された位置と異なる位置に載置されたかを判定し、
    物体が取り出されたと判定された場合に物体の位置を取得し、前記記憶手段に記憶された当該情報と、取得された前記物体の位置とに基づいて、取り出された物体の種類を特定し、
    物体が前記異なる位置に載置されたと判定されたことに応じて、前記記憶手段に記憶された載置された前記物体の位置情報を前記異なる位置に更新する
    ことを特徴とする物体種類特定方法。
  10. コンピュータに、
    物体の位置を取得する位置取得処理、
    センサの情報に基づいて、物体が取り出されたか又は物体が各物体の位置における当該物体の種類を示す情報を記憶する記憶手段に記憶された位置と異なる位置に載置されたかを判定する判定処理、
    前記判定処理で物体が取り出されたと判定された場合に、前記位置取得処理の取得結果と、前記記憶手段に記憶された当該情報とに基づいて、取り出された前記物体の種類を特定する物体特定処理、および、
    前記判定処理で物体が前記異なる位置に載置されたと判定されたことに応じて、前記記憶手段に記憶された載置された前記物体の位置情報を前記異なる位置に更新する更新処理
    を実行させるための物体種類特定プログラム。
JP2023093619A 2016-04-06 2023-06-07 物体特定方法、物体特定装置及び物体特定プログラム Active JP7552799B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016076511 2016-04-06
JP2016076511 2016-04-06
JP2018510589A JP7267741B2 (ja) 2016-04-06 2017-04-03 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム
JP2022096191A JP7294504B2 (ja) 2016-04-06 2022-06-15 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022096191A Division JP7294504B2 (ja) 2016-04-06 2022-06-15 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム

Publications (2)

Publication Number Publication Date
JP2023113838A true JP2023113838A (ja) 2023-08-16
JP7552799B2 JP7552799B2 (ja) 2024-09-18

Family

ID=60001229

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018510589A Active JP7267741B2 (ja) 2016-04-06 2017-04-03 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム
JP2022096191A Active JP7294504B2 (ja) 2016-04-06 2022-06-15 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム
JP2023093619A Active JP7552799B2 (ja) 2016-04-06 2023-06-07 物体特定方法、物体特定装置及び物体特定プログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2018510589A Active JP7267741B2 (ja) 2016-04-06 2017-04-03 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム
JP2022096191A Active JP7294504B2 (ja) 2016-04-06 2022-06-15 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム

Country Status (3)

Country Link
US (6) US10922541B2 (ja)
JP (3) JP7267741B2 (ja)
WO (1) WO2017175707A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922541B2 (en) * 2016-04-06 2021-02-16 Nec Corporation Object type identifying apparatus, object type identifying method, and recording medium
US10762641B2 (en) * 2016-11-30 2020-09-01 Whirlpool Corporation Interaction recognition and analysis system
JP6580651B2 (ja) * 2017-10-20 2019-09-25 ソフトバンク株式会社 情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム及び物品提供システム
JP6763914B2 (ja) * 2018-06-08 2020-09-30 ファナック株式会社 ロボットシステムおよびロボットシステムの制御方法
JP7250443B2 (ja) * 2018-06-19 2023-04-03 東芝テック株式会社 画像処理装置
CN108921098B (zh) * 2018-07-03 2020-08-18 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
US10535146B1 (en) 2018-07-16 2020-01-14 Accel Robotics Corporation Projected image item tracking system
US11394927B2 (en) 2018-07-16 2022-07-19 Accel Robotics Corporation Store device network that transmits power and data through mounting fixtures
US11106941B2 (en) 2018-07-16 2021-08-31 Accel Robotics Corporation System having a bar of relocatable distance sensors that detect stock changes in a storage area
US10909694B2 (en) 2018-07-16 2021-02-02 Accel Robotics Corporation Sensor bar shelf monitor
AU2019308228B2 (en) * 2018-07-16 2021-06-03 Accel Robotics Corporation Autonomous store tracking system
US20220230216A1 (en) * 2018-07-16 2022-07-21 Accel Robotics Corporation Smart shelf that combines weight sensors and cameras to identify events
US11069070B2 (en) 2018-07-16 2021-07-20 Accel Robotics Corporation Self-cleaning autonomous store
US11583997B2 (en) * 2018-09-20 2023-02-21 Sony Group Corporation Autonomous robot
JP7193303B2 (ja) * 2018-10-22 2022-12-20 株式会社ミツトヨ データ記録システム
US11126861B1 (en) * 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
CN111523348B (zh) * 2019-02-01 2024-01-05 百度（美国）有限责任公司 信息生成方法和装置、用于人机交互的设备
CN110472486B (zh) * 2019-07-03 2021-05-11 北京三快在线科技有限公司 一种货架障碍物识别方法、装置、设备及可读存储介质
JP7362037B2 (ja) * 2019-11-05 2023-10-17 オムロン株式会社 要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システム
WO2021161207A1 (fr) * 2020-02-14 2021-08-19 Areco Finances Et Technologie - Arfitec Installation pour présenter des produits à la vente, avec système de vision artificielle
FR3107377B1 (fr) * 2020-02-14 2023-03-10 Areco Finances Et Tech Arfitec Installation pour presenter des produits a la vente, avec systeme de vision artificielle
JP7447543B2 (ja) * 2020-02-27 2024-03-12 沖電気工業株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11277574B1 (en) * 2020-04-01 2022-03-15 Sunrise R&D Holdings, Llc Methods and systems for mapping camera location and selecting a desired view in a video management system
WO2021214880A1 (ja) * 2020-04-21 2021-10-28 日本電気株式会社 処理装置、処理方法及びプログラム
US12077419B2 (en) * 2020-12-18 2024-09-03 Industrial Technology Research Institute Method and system for controlling a handling machine and non-volatile computer readable recording medium
US12114082B2 (en) * 2021-03-31 2024-10-08 Target Brands, Inc. Shelf-mountable imaging system
CN113642488B (zh) * 2021-08-19 2024-10-29 三星电子（中国）研发中心 物品定位方法和装置
JP2023050826A (ja) * 2021-09-30 2023-04-11 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171240A (ja) 2002-11-20 2004-06-17 Casio Comput Co Ltd 不正監視システムおよびプログラム
JP2007065850A (ja) 2005-08-30 2007-03-15 Fujitsu Ltd 情報処理装置、情報処理方法およびプログラム
JP4706914B2 (ja) 2005-08-31 2011-06-22 ブラザー工業株式会社 物品管理システム
US7986230B2 (en) * 2006-11-14 2011-07-26 TrackThings LLC Apparatus and method for finding a misplaced object using a database and instructions generated by a portable device
JP4884256B2 (ja) 2007-02-22 2012-02-29 株式会社日立製作所 作業管理システム、作業管理方法、及び管理計算機
JP2009009231A (ja) 2007-06-26 2009-01-15 Toshiba Corp セキュリティ管理システムおよびセキュリティ管理方法
US10049281B2 (en) 2012-11-12 2018-08-14 Shopperception, Inc. Methods and systems for measuring human interaction
JP6270065B2 (ja) * 2013-03-04 2018-01-31 日本電気株式会社 物品管理システム、情報処理装置およびその制御方法と制御プログラム
US9242672B2 (en) 2013-03-07 2016-01-26 Polaris Industries Inc. Utility vehicle
JP5632512B1 (ja) * 2013-07-02 2014-11-26 パナソニック株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
US9171278B1 (en) * 2013-09-25 2015-10-27 Amazon Technologies, Inc. Item illumination based on image recognition
JP6226060B2 (ja) 2014-03-20 2017-11-08 日本電気株式会社 情報処理装置、商品棚管理システム、商品棚管理方法及び商品棚管理プログラム
WO2015167553A1 (en) 2014-04-30 2015-11-05 Landmark Graphics Corporation Forecasting production data for existing wells and new wells
JP5673888B1 (ja) 2014-10-20 2015-02-18 富士ゼロックス株式会社 情報通知プログラム及び情報処理装置
US20160255969A1 (en) * 2015-03-06 2016-09-08 Wal-Mart Stores, Inc. Shopping facility assistance systems, devices and methods pertaining to movement of a mobile retail product display
US10922541B2 (en) * 2016-04-06 2021-02-16 Nec Corporation Object type identifying apparatus, object type identifying method, and recording medium

Also Published As

Publication number Publication date
JP7294504B2 (ja) 2023-06-20
US20230394504A1 (en) 2023-12-07
US20190130180A1 (en) 2019-05-02
WO2017175707A1 (ja) 2017-10-12
JPWO2017175707A1 (ja) 2019-02-28
US11562559B2 (en) 2023-01-24
JP2022126733A (ja) 2022-08-30
US20230394503A1 (en) 2023-12-07
US20230129862A1 (en) 2023-04-27
US10922541B2 (en) 2021-02-16
JP7552799B2 (ja) 2024-09-18
US20210117676A1 (en) 2021-04-22
JP7267741B2 (ja) 2023-05-02
US20230394502A1 (en) 2023-12-07
US12067581B2 (en) 2024-08-20

Similar Documents

Publication Publication Date Title
JP7294504B2 (ja) 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム
JP7019357B2 (ja) 棚情報推定装置及び情報処理プログラム
TWI778030B (zh) 店鋪裝置、店鋪管理方法及程式
JP6508419B2 (ja) 画像表示装置、画像表示システム、画像表示方法及びプログラム
AU2014382730C1 (en) Method and device for detecting a touch between a first object and a second object
JP6529078B2 (ja) 顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラム及び棚システム
JP6639091B2 (ja) 表示制御装置及び表示制御方法
JP6665927B2 (ja) 行動分析装置、行動分析システム、行動分析方法及びプログラム
TW202147206A (zh) 店鋪裝置、店鋪系統、店鋪管理方法及程式
WO2016158438A1 (ja) 検品処理装置及び方法、及びプログラム
US11205089B2 (en) Object identification device, object identification method, and recording medium
US20140375555A1 (en) Work support system, work support apparatus, work support method, and computer readable storage medium
JP6769555B2 (ja) 物品識別装置、物品識別方法、計算装置、システムおよびプログラム
US11263760B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium for obtaining a position/orientation of an object
JP2004302700A (ja) 位置判別装置、移動経路算出装置および位置・移動経路算出方法
JP2024020698A (ja) 情報処理装置、情報処理方法及びプログラム
JP2011003138A (ja) 人物識別システム、人物識別方法、人物識別装置及び人物識別プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240819

R150 Certificate of patent or registration of utility model

Ref document number: 7552799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150