JP2022171693A - 情報処理システム、情報処理方法、および情報処理プログラム - Google Patents

情報処理システム、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
JP2022171693A
JP2022171693A JP2022136416A JP2022136416A JP2022171693A JP 2022171693 A JP2022171693 A JP 2022171693A JP 2022136416 A JP2022136416 A JP 2022136416A JP 2022136416 A JP2022136416 A JP 2022136416A JP 2022171693 A JP2022171693 A JP 2022171693A
Authority
JP
Japan
Prior art keywords
customer
information
acquired
flow line
products
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022136416A
Other languages
English (en)
Inventor
明子 大島
Akiko Oshima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2022136416A priority Critical patent/JP2022171693A/ja
Publication of JP2022171693A publication Critical patent/JP2022171693A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/202—Interconnection or interaction of plural electronic cash registers [ECR] or to host computer, e.g. network details, transfer of information from host to ECR or from ECR to ECR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/003—Anti-theft control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】 客のプライバシーを考慮しつつ、個人を識別せずに、客ごとの商品の取得状況を正確に把握する。【解決手段】 情報取得部（２１）は、映像から客の動線情報を取得する。行動検出部（２２）は、客が商品を取得したことを検出する。記録部（２３）は、客の動線情報と、客が取得した商品点数の情報とを紐付けて、記憶手段に記憶させる。【選択図】 図５

Description

情報処理方法、情報処理装置、および情報処理プログラムに関し、映像のデータを処理する技術に関する。
コンビニエンスストア、スーパーマーケットなどの小売量販店には、店内を撮影するための監視用カメラが設置されている。一般的に、店員または警備員が、映像をモニター上で監視することによって、万引きなどの犯罪や不正を発見する。しかしながら、万引きを防止するための別の方法も存在する。
例えば、特許文献１には、商品にＲＦＩＤ（Radio Frequency Identification）タグを配置する方法が開示されている。しかしながら、特許文献１に記載された方法では、全ての商品にＲＦＩＤタグを付加する必要があるため、コストが嵩むという問題がある。また、どの客が商品を取得したのかという情報を得ることはできない。
また、客の動線を追跡する技術（例えば、特許文献２）を用いて、客を監視する方法も存在する。特許文献３では、客が取得した商品点数の情報と、客を撮影した画像とを紐付けて管理する。客が取得した商品を精算したとき、ＰＯＳ（Point of Sales）端末に登録された商品点数と、客が取得した商品点数とを比較する。これらの商品点数が一致しない場合、不正の可能性があると判断する。
特許文献３に開示された方法は、店員または警備員が映像を監視し続ける必要が無いという利点を有する。
特開２００７－０７９６１５号公報 特開２０１１－１７０５６２号公報 特開２００４－１７１２４１号公報
しかしながら、特許文献３に開示された方法では、客を撮影した画像を客に無許可で管理するため、プライバシーに関する問題がある。
本発明の目的は、客のプライバシーを考慮しつつ、個人を識別せずに、客ごとの商品の取得状況を正確に把握することにある。
本発明の一態様に係わる情報処理方法は、映像から客の動線情報を取得し、前記客が商品を取得したことを検出し、前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて、記憶手段に格納させる。
本発明の一態様に係わる情報処理装置は、映像から客の動線情報を取得する情報取得手段と、前記客が商品を取得したことを検出する行動検出手段と、前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶手段に格納させる記録手段とを備えている。
本発明の一態様に係わる情報処理プログラムは、映像から客の動線情報を取得することと、前記客が商品を取得したことを検出することと、前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶手段に格納させることとを、コンピュータに実行させる。
本発明の一態様によれば、個人を識別せずに、客ごとの商品の取得状況を正確に把握することができる。
実施形態１に係わる店内監視装置の構成を示すブロック図である。 実施形態１に係わる店内監視装置の記憶部に格納されている動線－取得点数情報のＤＢ（Data Base）の一例を示す図である。 実施形態１に係わる店内監視装置の動作の第１の例を示すフローチャートである。 実施形態１に係わる店内監視装置の動作の第２の例を示すフローチャートである。 実施形態２に係わる店内監視装置の構成を示すブロック図である。 実施形態３に係わる店内監視装置のハードウェア構成を示す図である。
〔実施形態１〕
図１～図４を参照して、本実施形態に係わる店内監視装置の構成および動作を説明する。
（店内監視装置１の構成）
図１は、本実施形態に係わる店内監視装置１の構成を示すブロック図である。図１に示すように、店内監視装置１は、撮像部１１と、動線分析部１２と、棚前行動検出部１３と、異常検出部１４と、報知部１５と、記憶部１６とを備えている。
撮像部１１は、店内を撮影して、映像（動画）のデータを生成する。撮像部１１は、映像を撮影するための１または複数台のカメラを含んでいてもよい。撮像部１１は、店内を撮影して得られた映像のデータ（映像フレームを構成する画素データ）を、動線分析部１２、棚前行動検出部１３、および異常検出部１４に送信する。記憶部１６は、動線－取得点数情報を記憶している。
動線－取得点数情報とは、客の動線情報と、店内で客が取得した商品点数の情報とを紐付けた情報である。なお、客が取得した商品点数とは、ここでは、客が棚から手に取り、所持している商品の数を意味する。
図２は、記憶部１６に格納されている動線－取得点数情報のＤＢの一例を示す図である。図３に示すように、動線－取得点数情報のＤＢでは、例えば、客の動線を特定するＩＤ（動線ＩＤ）と、客の時系列の位置情報（時刻／座標）と、客が取得した商品点数（個）とが互いに関連付けられていてよい。なお、図２において、客の時系列の位置は、撮像部１１のカメラから見た３Ｄの視点（ビュー）座標で表されている。なお、動線－取得点数情報は、図２に示すＤＢに限定されない。
動線情報は、時間の経過に伴う移動体（ここでは客）の位置の変化の情報を含む。移動体が移動することによって描く軌跡が動線である。
動線分析部１２、棚前行動検出部１３、異常検出部１４、および報知部１５の動作については後に説明する。
なお、店内監視装置１は、撮像部１１および記憶部１６を含んでいなくてもよい。この場合、店内監視装置１は、撮像装置（例えばカメラ）が撮影した映像のデータを取得する。また、店内監視装置１は、動線－取得点数情報を記憶装置（例えばメモリ）に格納させる。
（第１の異常検出処理）
図３を参照して、店内監視装置１が実行する異常検出処理の一例として、第１の異常検出処理の流れを説明する。図３は、第１の異常検出処理の流れを示すフローチャートである。
図３に示すように、第１の異常検出処理では、動線分析部１２は、撮像部１１から受信した映像のデータを用いて、客の動線を追跡する（Ｓ１０１）。より詳細には、動線分析部１２は、一定時間ごとに、映像を構成する各フレームから客を検出し、検出した客の位置の時間変化を分析することによって、客の動線情報を生成し、出力する。移動体の動線を追跡する技術は、例えば、特許文献２に開示されている。本実施形態では、客の動線を追跡する技術に関する詳細な説明を省略する。
棚前行動検出部１３は、撮像部１１より受信した映像のデータを分析することによって、客が棚（ゴンドラ）に対して行う行動を検出し、客が棚から取得した商品点数を計測する（Ｓ１０２）。客が棚から商品を取得したり、棚に商品を戻したりする行動（棚前行動）を検出する技術は、例えば、特許文献３に開示されている。本実施形態では、棚前行動を検出する技術に関する詳細な説明を省略する。
棚前行動検出部１３は、動線分析部１２が生成した客の動線情報と、客が棚から取得した商品点数の情報とを紐付けて、動線－取得点数情報として、記憶部１６に格納させる（Ｓ１０３）。
異常検出部１４は、レジ前エリア内に客が入ったことを検出する。レジ前エリア内には、取得した商品を精算しようとする客が並んでいる。店の構造等によって、レジ待ちの客が並ぶエリアの位置および形状は異なる。そのため、異常検出部１４が人を検出するためのレジ前エリアは、店ごとに設定されてよい。
客がレジ前エリア内へ移動したことを検出したとき（Ｓ１０４でＹｅｓ）、異常検出部１４は、記憶部１６が記憶している動線－取得点数情報を参照して、レジ前エリア内にいる客のうち、最前列の客に対応する動線を特定するとともに、その最前列の客が取得した商品点数の情報を取得する（Ｓ１０５）。以下では、レジ前エリア内にいる客のうち、最前列の客のことを、判定対象と呼ぶ。
また、異常検出部１４は、判定対象がレジ前エリア内へ移動した後でＰＯＳ端末に登録された商品点数の情報も取得する。そして、異常検出部１４は、ＰＯＳ端末に登録された商品点数と、判定対象が取得した商品点数とを比較する（Ｓ１０６）。
第１の異常検出処理では、異常検出部１４は、判定対象が取得した商品点数と、ＰＯＳ端末に登録された商品点数とが一致しないことを、異常として検出する。判定対象が取得した商品点数と、ＰＯＳ端末に登録された商品点数とが一致しない場合（Ｓ１０７でＮｏ）、異常検出部１４は、報知部１５に異常を報知させる（Ｓ１０８）。報知部１５は、例えば、警備員が所持する携帯端末または事務所内の端末に、異常信号（アラート）を送信してもよい。
一変形例では、判定対象が取得した商品点数と、ＰＯＳ端末に登録された商品点数との差が１よりも大きい一定数（閾値）を超える場合、異常検出部１４は、報知部１５に異常を報知させてもよい。
（第２の異常検出処理）
図４を参照して、店内監視装置１が実行する異常検出処理の他の例として、第２の異常検出処理の流れを説明する。図４は、第２の異常検出処理の流れを示すフローチャートである。
図４に示すように、第２の異常検出処理では、動線分析部１２は、撮像部１１から受信した映像に基づいて、客の動線を追跡する（Ｓ２０１）。
棚前行動検出部１３は、撮像部１１より受信した映像から、客が棚（ゴンドラ）に対して行う行動を検出し、客が棚から取得した商品点数を計測する（Ｓ２０２）。
動線分析部１２および棚前行動検出部１３は、客の動線情報と、客が棚から取得した商品点数の情報とを紐付けて、動線－取得商品情報として、記憶部１６に格納させる（Ｓ２０３）。第２の異常検出処理のＳ２０１～Ｓ２０３は、第１の異常検出処理のＳ１０１～Ｓ１０３と同じである。
異常検出部１４は、特定エリア外へ客が出たことを検出する。特定エリアとは、例えば、商品を陳列する棚が配置されているエリア、レジ前エリア、および、客が未精算の商品を持っていることを許容されるその他のエリアである。異常検出部１４は、特定エリア内から客が出たことを検出する代わりに、客が特定ラインを横切ったことを検出してもよい。特定ラインは、客が未精算の商品を所持していることを許容されるエリアと、許容されないエリアとの境界である。
客が特定エリア内から出たことを検出したとき（Ｓ２０４でＹｅｓ）、異常検出部１４は、記憶部１６が記憶している動線－取得点数情報を参照して、特定エリア外へ出た客に対応する動線を特定するとともに、客が取得した商品点数の情報を記憶部１６から取得する（Ｓ２０５）。
第２の異常検出処理では、異常検出部１４は、客が未精算の商品を取得したまま、特定エリア外へ出たことを異常として検出する。客が未精算の商品を取得したまま、特定エリア外へ出た場合（Ｓ２０６でＹｅｓ）、異常検出部１４は、報知部１５に異常を報知させる（Ｓ２０７）。報知の方法は特に限定されない。報知部１５は、例えば、警備員が所持する携帯端末または事務所内の端末に異常信号（アラート）を送信してもよい。
（変形例）
一変形例に係わる店内監視装置１は、客の動線分析および棚前行動検出を行わず、外部装置（例えば、ネットワークサーバ）が、客の動線分析および棚前行動検出を代わりに行ってもよい。本変形例では、店内監視装置１は、動線分析結果、および棚前行動の検出結果を、外部装置から受信する。あるいは、外部装置が、動線－取得点数情報を生成して記憶部１６に格納し、店内監視装置１は、外部装置によって記憶部１６に格納された動線－取得点数情報を取得してもよい。
本変形例の構成によれば、店内監視装置１は、動線分析部１２および棚前行動検出部１３を備えていなくてもよい。すなわち、客の動線分析（図３のＳ１０１）および棚前行動検出（図３のＳ１０２）の処理のために要するコンピュータリソースを削減することができる。
（本実施形態の効果）
本実施形態の構成によれば、客の動線情報と、客の取得した商品点数の情報と紐付けて記憶する。記憶した情報を用いることにより、どの客がいくつの商品を取得したのかを、簡単な構成で、かつ正確に計測することができる。
そのため、客が精算の済んでいない商品を所持したまま店を出るなど、不正が疑われる客の行動を検出することができる。さらに、客を撮影した映像を管理しないので、客のプライバシーを適切に保護することができる。
加えて、不正が疑われる行動を検出したときに、異常を報知することにより、警備員や店員に対応を促すことができる。したがって、警備員や店員は、不正を発見するために、映像を継続的に監視している必要がない。これにより、警備員や店員の負担を軽減するとともに、警備員や店員が不正を見落とすことを防止することができる。
〔実施形態２〕
図５を参照して、本実施形態に係わる店内監視装置について説明する。
（店内監視装置２の構成）
図５は、本実施形態に係わる店内監視装置２の構成を示すブロック図である。図５に示すように、店内監視装置２は、情報取得部２１、行動検出部２２、および記録部２３を備えている。図示しないが、店内監視装置２は、外部の撮像装置（例えばカメラ）が撮影した映像のデータを取得する。また、店内監視装置２は、動線－取得点数情報を外部の記憶装置（例えばメモリ）に格納させる。あるいは、店内監視装置２は、撮像装置および記憶装置を含んでいてもよい。
情報取得部２１は、外部の撮像装置が撮影した映像のデータを分析することによって生成された客の動線情報を取得する。ここで、映像中の客の動線を追跡する技術は、例えば、特許文献２に開示されている。
行動検出部２２は、棚前行動の検出技術（例えば特許文献３）を用いて、店内で客が商品を取得したことを検出する。
記録部２３は、客の動線情報と、前記客が取得した商品点数の情報とを紐付けて、前述した動線－取得点数情報として、記憶手段（図示せず）に記憶する。なお、本実施形態の記録部２３は、前記実施形態１の動線分析部１２および棚前行動検出部１３の一部と対応する。なお、一変形例に係わる店内監視装置２は、客の動線分析および棚前行動検出を行わず、外部装置（例えば、ネットワークサーバ）が、客の動線分析および棚前行動検出を代わりに行ってもよい。本変形例では、記録部２３は、外部装置が行った客の動線分析および棚前行動検出の各結果を取得して、記憶手段（図示せず）に記憶する。
（本実施形態の効果）
本実施形態の構成によれば、客の動線情報と、客が取得した商品点数の情報とを紐付けて、記憶手段に記憶する。そのため、記憶手段に記憶された情報（動線－取得点数情報）を参照することによって、どの客がいくつの商品を取得したのかを正確に計測することができる。このようにして計測された商品点数の情報は、例えば、万引きを防止するために利用することができる。客が精算をしていない商品を店外に持ち出そうとしていることが分かるからである。また、客の動線情報は、客を撮影した画像とは異なり、プライバシーにかかわる情報を含んでいない。したがって、客のプライバシーを適切に保護することができる。
〔実施形態３〕
図６を参照して、本実施形態に係わる店内監視装置について説明する。
（店内監視装置３の構成）
図６は、本実施形態に係わる店内監視装置３の構成を示す図である。店内監視装置３は、コンピュータ装置によって、ハードウェアとして実現される。店内監視装置３は、ＣＰＵ（Central Processing Unit）３１、ＲＡＭ（Random Access Memory）３２、記憶装置３３、入出力装置３４、および通信インターフェース３５を備えている。
店内監視装置３の機能は、前記実施形態１または２の店内監視装置１または２の機能と同じである。つまり、店内監視装置３は、前記実施形態１または２の店内監視装置１または２に含まれる機能ブロックの動作を実現する。店内監視装置３の機能は、ＣＰＵ３１がＲＡＭ３１に読み込んだプログラムを実行することによって実現される。
記憶装置３３は、前記実施形態１の記憶部１６を含む。記憶装置３３には、動線－取得点数情報が格納されている。
入出力装置３４は、前記実施形態１の報知部１５を含む。入出力装置３４は、ディスプレイなどのユーザインターフェースを含んでいてもよい。
通信インターフェース３５は、外部の撮像装置から映像データを取得するために使用される。
（本実施形態の効果）
本実施形態の構成によれば、前記実施形態１または２で説明した店内監視装置の機能が、ＣＰＵなどのコンピュータ資源を用いて、ハードウェアとして実現される。そのため、客のプライバシーを考慮しつつ、どの客がいくつの商品を取得したのかを正確に計測することができる。
１、２、３ 店内監視装置
１２ 動線分析部
１３ 棚前行動検出部
１４ 異常検出部
１５ 報知部
１６ 記憶部
２１ 情報取得部
２２ 行動検出部
２３ 記録部

Claims (5)

  1. 映像から客の動線情報を取得する情報取得手段と、
    前記客が商品を取得したことを検出する行動検出手段と、
    前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶させる記録手段と、
    前記記録手段に記憶された前記客が取得した商品点数とレジスターで前記客が精算した商品点数とが一致しないことを検出する検出手段と
    を備えたことを特徴とする情報処理システム。
  2. 前記検出手段は、取得した商品をレジスターで精算しようとする客が並ぶエリアであるレジスター前エリアにいる客のうち、最前列の客に対応する動線を特定し、特定した前記客の動線に紐づく第１商品点数を取得し、前記客がレジスターで精算した第２商品点数を取得することで、前記第１商品点数と、前記第２商品点数とが一致しないことを検出する請求項１に記載の情報処理システム。
  3. 前記客が取得した商品点数とレジスターで前記客が精算した商品点数とが一致しないことを検出したことを報知する報知手段を更に備える請求項１又は２に記載の情報処理システム。
  4. 映像から客の動線情報を取得し、
    前記客が商品を取得したことを検出し、
    前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶させ、
    前記客の動線情報に紐付けて記憶された前記客が取得した商品点数とレジスターで前記客が精算した商品点数とが一致しないことを検出する
    ことを特徴とする情報処理方法。
  5. 映像から客の動線情報を取得することと、
    前記客が商品を取得したことを検出することと、
    前記客の動線情報と、前記客が取得した商品点数の情報とを紐付けて記憶させることと、
    前記客の動線情報に紐付けて記憶された前記客が取得した商品点数とレジスターで前記客が精算した商品点数とが一致しないことを検出することとを、コンピュータに実行させるための情報処理プログラム。
JP2022136416A 2018-01-31 2022-08-30 情報処理システム、情報処理方法、および情報処理プログラム Pending JP2022171693A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022136416A JP2022171693A (ja) 2018-01-31 2022-08-30 情報処理システム、情報処理方法、および情報処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018015408A JP7135329B2 (ja) 2018-01-31 2018-01-31 情報処理方法、情報処理装置、および情報処理プログラム
JP2022136416A JP2022171693A (ja) 2018-01-31 2022-08-30 情報処理システム、情報処理方法、および情報処理プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018015408A Division JP7135329B2 (ja) 2018-01-31 2018-01-31 情報処理方法、情報処理装置、および情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2022171693A true JP2022171693A (ja) 2022-11-11

Family

ID=67478012

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018015408A Active JP7135329B2 (ja) 2018-01-31 2018-01-31 情報処理方法、情報処理装置、および情報処理プログラム
JP2022136416A Pending JP2022171693A (ja) 2018-01-31 2022-08-30 情報処理システム、情報処理方法、および情報処理プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018015408A Active JP7135329B2 (ja) 2018-01-31 2018-01-31 情報処理方法、情報処理装置、および情報処理プログラム

Country Status (3)

Country Link
US (4) US11574294B2 (ja)
JP (2) JP7135329B2 (ja)
WO (1) WO2019151068A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220198886A1 (en) * 2020-12-22 2022-06-23 Sensormatic Electronics, LLC Scan avoidance prevention system
JP2023020755A (ja) * 2021-07-30 2023-02-09 富士通株式会社 接客検出プログラム、接客検出方法および情報処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126926A (ja) * 2004-10-26 2006-05-18 Canon Inc 顧客データ作成システム、プログラムおよび方法
JP2013238973A (ja) * 2012-05-14 2013-11-28 Nec Corp 購買情報管理システム、商品移動検出装置および購買情報管理方法
JP2015001879A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 情報処理装置、情報処理システム及びプログラム
WO2016038872A1 (ja) * 2014-09-11 2016-03-17 日本電気株式会社 情報処理装置、表示方法およびプログラム記憶媒体
JP2017157216A (ja) * 2016-02-29 2017-09-07 サインポスト株式会社 情報処理システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2201423C (en) * 1997-04-01 2007-06-26 Michael Coveley Cashierless shopping store and components for use therein
US6700310B2 (en) * 2000-10-13 2004-03-02 Lear Corporation Self-powered wireless switch
US7167576B2 (en) * 2001-07-02 2007-01-23 Point Grey Research Method and apparatus for measuring dwell time of objects in an environment
JP2004171241A (ja) 2002-11-20 2004-06-17 Casio Comput Co Ltd 不正監視システムおよびプログラム
JP2007079615A (ja) 2005-09-09 2007-03-29 Toshiba Tec Corp 商品管理装置
US20070219866A1 (en) * 2006-03-17 2007-09-20 Robert Wolf Passive Shopper Identification Systems Utilized to Optimize Advertising
US20110125551A1 (en) * 2009-11-24 2011-05-26 Mark Peiser Method and System for In-Store Media Measurement
JP4802285B2 (ja) 2010-02-17 2011-10-26 東芝テック株式会社 動線関連付け方法、装置及びプログラム
WO2013145632A1 (ja) * 2012-03-30 2013-10-03 日本電気株式会社 動線データ解析装置、システム、プログラム及び方法
US20170068945A1 (en) 2014-03-20 2017-03-09 Nec Corporation Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
US9911290B1 (en) * 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
US10885642B1 (en) * 2019-10-25 2021-01-05 7-Eleven, Inc. Scalable position tracking system for tracking position in large spaces
US11188763B2 (en) * 2019-10-25 2021-11-30 7-Eleven, Inc. Topview object tracking using a sensor array
US11176686B2 (en) * 2019-10-25 2021-11-16 7-Eleven, Inc. Image-based action detection using contour dilation
US11176598B2 (en) * 2018-12-10 2021-11-16 Accenture Global Solutions Limited Artificial intelligence and machine learning based conversational agent
US11023728B1 (en) * 2019-10-25 2021-06-01 7-Eleven, Inc. Machine learning algorithm trained to identify algorithmically populated shopping carts as candidates for verification
US11023740B2 (en) * 2019-10-25 2021-06-01 7-Eleven, Inc. System and method for providing machine-generated tickets to facilitate tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126926A (ja) * 2004-10-26 2006-05-18 Canon Inc 顧客データ作成システム、プログラムおよび方法
JP2013238973A (ja) * 2012-05-14 2013-11-28 Nec Corp 購買情報管理システム、商品移動検出装置および購買情報管理方法
JP2015001879A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 情報処理装置、情報処理システム及びプログラム
WO2016038872A1 (ja) * 2014-09-11 2016-03-17 日本電気株式会社 情報処理装置、表示方法およびプログラム記憶媒体
JP2017157216A (ja) * 2016-02-29 2017-09-07 サインポスト株式会社 情報処理システム

Also Published As

Publication number Publication date
US20210065152A1 (en) 2021-03-04
US20230394556A1 (en) 2023-12-07
US11574294B2 (en) 2023-02-07
JP2019133431A (ja) 2019-08-08
JP7135329B2 (ja) 2022-09-13
US20230394555A1 (en) 2023-12-07
US20230136054A1 (en) 2023-05-04
WO2019151068A1 (ja) 2019-08-08

Similar Documents

Publication Publication Date Title
JP6249021B2 (ja) セキュリティシステム、セキュリティ方法及びセキュリティプログラム
US20210407267A1 (en) Theft prediction and tracking system
JP7318697B2 (ja) 商品監視システム、出力先装置、商品監視方法、表示方法及びプログラム
US7448542B1 (en) Method for detecting a non-scan at a retail checkout station
US20170068945A1 (en) Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
JP2022171693A (ja) 情報処理システム、情報処理方法、および情報処理プログラム
EP3598746A1 (en) Investigation generation in an observation and surveillance system
JP5673888B1 (ja) 情報通知プログラム及び情報処理装置
JP2011248836A (ja) 滞留検出システム及びプログラム
JP7545801B2 (ja) 情報処理システム、情報処理システムの制御方法及びプログラム
JP6836173B2 (ja) 万引き防止システム及びそれに使用される店舗側装置並びにセンタ側装置
WO2020170854A1 (ja) セルフｐｏｓシステム、セルフｐｏｓ端末装置、制御方法及び制御プログラムを格納した非一時的なコンピュータ可読媒体
JP6206627B1 (ja) 情報処理装置、制御方法、及びプログラム
JP5903557B2 (ja) セキュリティシステム
JP6536643B2 (ja) 情報処理装置、制御方法、及びプログラム
US10891491B2 (en) In-store monitoring device, in-store monitoring method, and recording medium
JP2023031766A (ja) セルフレジ監視システム及びセルフレジ監視方法
JP6531804B2 (ja) 情報処理装置、制御方法、及びプログラム
JP7318684B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7318683B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
CN115546703A (zh) 自助收银的风险识别方法、装置、设备及存储介质
JP2024008708A (ja) 判定プログラム、判定方法、および判定装置
JP2021073595A (ja) 情報処理システム、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240524

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240530

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20240705