CN109409175A - 结算方法、装置和系统 - Google Patents

结算方法、装置和系统 Download PDF

Info

Publication number
CN109409175A
CN109409175A CN201711213100.2A CN201711213100A CN109409175A CN 109409175 A CN109409175 A CN 109409175A CN 201711213100 A CN201711213100 A CN 201711213100A CN 109409175 A CN109409175 A CN 109409175A
Authority
CN
China
Prior art keywords
customer
commodity
movement
hand
shopping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711213100.2A
Other languages
English (en)
Other versions
CN109409175B (zh
Inventor
吴黎
吴一黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Turing Tonno (beijing) Technology Co Ltd
Original Assignee
Turing Tonno (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Turing Tonno (beijing) Technology Co Ltd filed Critical Turing Tonno (beijing) Technology Co Ltd
Priority to US16/330,076 priority Critical patent/US10963947B2/en
Priority to JP2019512641A priority patent/JP6743291B2/ja
Priority to EP17921861.5A priority patent/EP3671529A4/en
Priority to PCT/CN2017/115444 priority patent/WO2019033635A1/zh
Publication of CN109409175A publication Critical patent/CN109409175A/zh
Application granted granted Critical
Publication of CN109409175B publication Critical patent/CN109409175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种结算方法、装置和系统，属于计算机技术领域。结算方法包括识别预先注册的顾客以获取顾客的身份信息，身份信息包括顾客的脸部数据和支付账号；在购物场所内实时跟踪已获取身份信息的顾客以获取此顾客的位置；判断此顾客的位置与购物场所内商品的位置是否一致，若一致则将此顾客与商品涉及的拿取或放回动作关联，并在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；根据购物清单清单进行结算。还公开了一种结算装置包括顶部摄像头、朝前摄像头、向下摄像头和服务器。还公开了一种结算系统包括客户端和结算装置。本发明通过上述技术方案避免因粘贴RFID标签带来的工作量大以及以RFID标签易损坏的现象发生。

Description

结算方法、装置和系统
技术领域
本发明属于计算机技术领域，特别涉及一种结算方法、装置和系统。
背景技术
顾客在超市、商店等购物场所看到自己喜欢或需要的商品时，需与购物场所的经营者进行结算才能得到该商品。通常是以在收银台排队的方式进行结算。
随着人工智能技术的发展，结算方式也发生了变化，如走进购物场所后，挑选好自己的商品，不用在收营台处排队等待结账，可以立马离开，俗称“即拿即走”结算方式。
现有技术中，主要是基于RFID(无线射频识别，Radio FrequencyIdentification)技术实现“即拿即走”方案。应用时，在商品上贴一个不需要电池的射频小模块，当该商品通过设置有RFID检测设置的结算台(或结算区域)时，结算台会向该商品发射无线信号，该射频小模块接收到该信号之后会回馈一个信号给结算台，该回馈的信号中带有商品的ID信息，结算台据此生成账单并进行结算。该方法具有如下缺陷：由于需要在每件商品上贴射频小模块，这对购物场所的工作人员来说工作量极大且成本较高，而且如果射频小模块从商品上掉落或本身损坏或人为损坏，结算台则无法识别该商品，会给商家造成损失。此外，有些金属商品贴上RFID，可能存在信号被屏蔽的问题。
发明内容
为了解决现有技术中存在的粘贴RFID标签工作量大、RFID标签易损坏的问题，本发明一方面提供了一种结算方法，其包括：步骤S1，识别预先注册的顾客以获取顾客的身份信息，所述身份信息包括顾客的脸部数据和支付账号；步骤S2，在购物场所内实时跟踪已获取身份信息的顾客以获取此顾客的位置；步骤S3，判断此顾客的位置与购物场所内商品的位置是否一致，若一致则将此顾客与所述商品涉及的拿取或放回动作关联，并在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；步骤S4，根据所述购物清单清单进行结算。
在如上所述的结算方法中，优选地，步骤S3中，判断此顾客的位置与购物场所内商品的位置是否一致，具体包括：以承载所述商品的货架上安装的朝前方拍摄的朝前摄像头的位置表示所述商品的位置，当所述朝前摄像头拍摄到含有顾客的图片所表示的顾客身份信息与所述步骤S1获取的身份信息相同时，则判断顾客的位置与购物场所内商品的位置一致。
在如上所述的结算方法中，优选地，步骤S3中，识别拿取或放回动作，具体包括：获取此顾客在承载所述商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向。
在如上所述的结算方法中，优选地，步骤S3中，识别拿取或放回动作所针对的商品，具体包括：S31，对获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；S32，根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；S33，以所述一级分类结果作为第一次分类结果；S34，将所述第一次分类结果作为待识别的商品。
在如上所述的结算方法中，优选地，在步骤S32之后，步骤S34之前，还包括：S35，若一级分类结果为相似商品，则根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品组中商品训练的模型，否则执行步骤S33。
另一方还提供了一种结算装置，其包括：注册模块，用于在注册时接收顾客输入的身份信息及获取欲进入购物场所的顾客的身份信息；实时跟踪模块，与所述注册模块连接，用于在购物场所内实时跟踪经所述注册模块获取身份信息的顾客以获取此顾客的位置；生成购物清单模块，与所述实时跟踪模块连接，用于判断经所述实时跟踪模块获取的此顾客的位置与购物场所内商品的位置是否一致，若一致则将此顾客与所述商品涉及的拿取或放回动作关联，并在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；和结算模块，与所述生成购物清单模块连接，用于根据所述生成购物清单清单模块生成的购物清单进行结算。
在如上所述的结算装置中，优选地，所述生成购物清单模块包括：关联单元，用于以承载所述商品的货架上安装的朝前方拍摄的朝前摄像头的位置表示所述商品的位置，当所述朝前摄像头拍摄到含有顾客的图片所表示的顾客身份信息与所述注册模块获取的身份信息相同时，则判断顾客的位置与购物场所内商品的位置一致；动作识别单元，用于获取此顾客在承载所述商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向；商品识别单元，用于识别所述拿取或放回动作所针对的商品；和购物清单生成单元，根据所述关联单元确认的此顾客的身份信息、所述动作识别单元识别的拿取或放回动作、所述商品识别单元识别的拿取或放回动作所针对的商品，生成此顾客的购物清单。
在如上所述的结算装置中，优选地，所述商品识别单元包括：目标检测子单元，用于根据所述动作识别单元获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；第一分类子单元，用于根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；确认单元，用于以所述一级分类结果作为第一次分类结果；和结果认定单元，用于将所述第一次分类结果作为待识别的商品
又一方面还提供了一种结算装置，其包括：顶部摄像头，用于自购物场所的顶部向下进行拍摄以在购物场所内实时跟踪已获取身份信息的顾客；朝前摄像头，用于朝货架的前方进行拍摄以获取位于承载商品的货架前的顾客的图片；下方摄像头，用于向下进行拍摄以获取顾客的手部图像；处理器；和用于存储处理器可执行的指令的存储器；其中，所述处理器被配置为：识别预先注册的顾客以获取顾客的身份信息，所述身份信息包括顾客的脸部数据和支付账号；控制所述顶部摄像头实时跟踪已获取身份信息的顾客以获取此顾客的位置；判断此顾客的位置与控制所述朝前摄像头而获取的购物场所内商品的位置是否一致，若一致则将此顾客与所述商品涉及的拿取或放回动作关联，并在根据所述下方摄像头获取的手部图像识别的拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；根据所述购物清单清单进行结算。
再一方面还提供了一种结算系统，其包括：客户端和结算装置；所述客户端用于注册时接收顾客输入的身份信息并发送给所述结算装置和所述结算装置下发的购物清单；所述结算装置为上述结算装置。
本发明实施例通过上述技术方案带来的有益效果如下：
运营成本低：相比于RFID方案，节省粘贴RFID带来的工作量。
适用范围广：适用于任意商品，不受商品形态、材质等属性的约束。
用户体验好：顾客在拿取商品后，可以第一时间获取相关信息。
附图说明
图1为本发明实施例提供的一种结算方法的流程示意图；
图2为本发明实施例提供的一种基于卷积神经网络的图像识别技术的结算方法的流程示意图；
图3为本发明实施例提供的另一种基于卷积神经网络的图像识别方法的流程示意图；
图4为本发明实施例提供的一种结算装置的结构示意图；
图5为本发明实施例提供的一种结算装置用货架的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种结算方法，参见图1，该方法包括以下步骤：
步骤S1，识别预先注册的顾客以获取顾客的身份信息。
具体地，在顾客进入购物场所前，如商店、超市，需在其移动通信设备上，如手机、平板电脑，安装与该结算方法对应的App(Application，应用软件)，完成顾客的注册，注册时需采集的顾客身份信息(ID)包括但不限于：顾客的脸部数据、支付账号，支付账号可以为银行账号，也可以为第三方支付账号，如余额宝、微信支付、QQ钱包、京东钱包等，还可以包括姓名、手机号、身份证号、性别、职业。也可以通过微信(WeChat)内与该结算方法对应的小程序(或称微信小程序)完成顾客的注册，还可以通过关注与该结算方法对应的微信公众号完成顾客的注册。然后，顾客通过该App或小程序或公众号扫描购物场所门口处的二维码或商店扫描经顾客所持移动通信设备上App生成的二维码实现商店对顾客ID的验证，即识别出顾客为已注册用户中的一员，从而获取与该顾客对应的身份信息，换言之，知道进入购物场所内的顾客是谁。获取顾客的身份信息后，购物场所的门锁可以自动打开，顾客在门自动打开后或以向里推或向外拉或平推的方式将门打开，然后进入购物场所内挑选商品。若顾客未完成注册，则能识别出顾客为非注册用户，购物场所内的门锁继续关闭，顾客无法进入购物场所内。在其他的实施例中，可以在购物场所门口处设置生物识别器，如指纹识别器、人脸识别器，通过生物识别技术购物场所实现对顾客ID的认定，顾客在该App上注册时会采集顾客的生物数据，如指纹数据。购物场所的门可以在获取顾客身份信息后由工作人员打开。
步骤S2，在购物场所内实时跟踪已获取身份信息的顾客以获取此顾客的位置。
顾客在进入购物场所时需进行身份的识别，之后被识别出的顾客在购物场所内自由移动，并拿取、放回商品。若要随时掌握购物场所内每一个顾客的身份信息，需要在顾客进购物场所时进行身份确认后，保持对该顾客在购物场所内轨迹的持续追踪，即需要对顾客进行实时定位。
具体地，在购物场所内的顶部部署顶部摄像头，其会拍摄顾客在购物场所内移动的视频流，通过对视频流进行分析，比较视频流中前后帧之间的差异来实现对顾客在购物场所内的实时定位。可以在天花板上部署多个顶部摄像头，以使拍摄范围覆盖整个店面，顶部摄像头的拍摄方向为斜向下。入店时顾客的身份已识别，入店后，天花板上的顶部摄像头从上往下进行拍摄，会实时采集到该顾客的图像，并将图像与该顾客的身份信息进行绑定，即知晓在店内移动的顾客的身份信息。随着该顾客在购物场所内移动到不同位置，其他顶部摄像头会一直保持对该顾客的跟踪，实现对该顾客在购物场所内的定位。
步骤S3，若此顾客的位置与购物场所内商品的位置一致，则将此顾客与所述商品涉及的拿取或放回动作关联，并在识别拿取或放回动作所针对的商品后，生成此顾客的购物清单。
具体地，入店后，顾客会在店内移动，当顾客遇到自己喜欢的商品时，会在承载商品的货架前停留，然后对商品进行拿取动作以表明该商品属于待购商品，或放回动作以表明该商品不属于待购商品。由于经步骤102能获取顾客的当前位置，若当前位置与商品所处位置一致，则将对货架上的商品进行拿取或放回动作的人标记为该顾客，换言之，将此顾客与货架上的商品涉及的拿取或放回动作进行关联，从而知道是哪位顾客在该货架前对该货架上的商品进行了拿取或放回动作。在识别出拿取或放回动作所针对的商品是什么商品后，即可生成与该顾客对应的购物清单。商品的位置可以用在货架上设置的朝前方拍摄的摄像头的位置来表示，当顾客移动到货架前挑选商品时，朝前方拍摄的摄像头会拍摄到顾客的图片，若图片中所含的顾客信息与已识别的顾客的身份信息一致，则判断顾客的位置与商品的位置一致。当顾客对商品施加拿取动作时，该顾客的购物清单上会对应地增加该商品，当顾客对商品施加放回动作时，购物清单上会对应地减去该商品，即购物清单会根据顾客的拿取或放回动作进行实时更新。
关于如何判断对商品的动作是拿取，还是放回的方法可以采用如下：
根据采集到的顾客在货架前的多帧连贯的手部图像在时间轴上建立一条手部运动轨迹，根据手部运动轨迹判断顾客对商品施加的是拿取动作，还是放回动作。例如，在货架上部署摄像头，拍摄角度为向下，以使拍摄范围覆盖货架，优选摄像头的数量为多个，如此可以确保从多角度进行拍摄，提高对商品识别的准确率。摄像头每秒会拍到多帧图像，如30帧，对摄像头采集的顾客的手部图像逐帧进行检测，对每帧手部图像中手部的位置进行标记并保存下来，一帧一帧重复前述操作，这样在时间轴上会得到一条手部的运动轨迹，不仅会得到每一帧图像中手部的位置，还会根据某一帧手部图像判断手上是否拿有商品以及对商品的类别进行确认。
具体地，在手部图像中标记一条虚拟动作分界线，该动作分界线与货架间隔一定距离，如10cm、20cm。当检测到手部的运动轨迹由远离货架的位置穿过动作分界线运动到靠近货架的位置，简单地说，由动作分界线外运动到动作分界线内，且手部拿有商品，则认为手部动作为商品的放回动作；当检测到手部的运动轨迹由靠近货架的位置穿过动作分界线运动到远离货架的位置，简单地说，由动作分界线内运动到动作分界线外，且手部拿有商品，则认为手部动作为商品的拿取动作。
摄像头持续采集视频数据，每秒拍摄获得多帧手部图像，如几十帧，可以每隔一秒取一帧手部图像，截取手部位置，对手中的商品进行分类(或称识别)，可以通过预先训练好的下述分类模型实现。
参见图2，对拿取或放回动作所针对的商品进行识别的方法可以采用如下步骤：
步骤S31，对含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，该矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应。
具体地，在对手部图像进行目标检测时，会在手部图像上拉出一个包含商品的矩形框(或称矩形区域)，该矩形框所对应的图像是用于对商品进行分类的图像。为了获取多帧手部图像需布置多个摄像头，其可以布置在商品的正上方，此时从正上方向下拍摄；也可以布置在商品的斜上方，此时斜向下对商品进行拍摄；还可以部分布置在商品的正上方，另一部分布置在商品的斜上方。需要说明的是，不管布置在何位置，各摄像头距离地面的距离可以相等，也可以不相等，本实施例对此不进行限定。
步骤S32，根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果。
具体地，预先采集数据建立数据集，采集数据的过程包括：1)对购物场所内所有商品从各个角度以及在各个姿态下拍照来获取大量的照片。2)然后对这些照片进行标注：对照片中商品的位置、大小以及类别进行标注。数据集包括的数据是指前述这些照片以及这些照片上进行的标注。一级分类模型为基于卷积神经网络的图像识别技术架构的模型，并使用购物场所内所有商品的数据对一级分类模型进行了训练，训练时可以通过梯度下降的方式进行。
训练好的一级分类模型对每张矩形区域图像中的商品进行分类，得到初级分类结果，该初级分类结果为一个n维向量，n表示购物场所内商品的总数量，向量中每个元素的含义表示一级分类模型认为待分类的商品属于n个商品中每个商品的概率，向量中哪个元素的值最大，那意味着模型认为待分类的商品为该元素对应的商品。当矩形区域图像为5个时，初级分类结果的数量为5个n维向量。
训练一级分类模型时，一级分类模型输出的初级分类结果作为一级线性回归模型的输入，该初级分类结果对应的手部图像中所包含的商品的正确分类作为一级线性回归模型的输出，以此来训练一级线性回归模型。训练好的一级线性回归模型对多个初级分类结果进行数据融合，得到一个一级分类结果，该一级分类结果表示一级线性回归模型预测图片中商品为购物场所内商品中哪个类别。
步骤S33，以一级分类结果作为第一次分类结果。
购物场所内的商品有多种，在该多种商品中会存在一些外观相近及通过视觉易混淆的商品，将这些商品称为相似商品，如黄元帅苹果和黄色的雪花梨。若待分类的单个商品为相似商品时，一级分类模型难以准确地对该商品进行分类，如把黄元帅的苹果与黄色的雪花梨弄混，将黄元帅的苹果分类为黄色的雪花梨，因此参见图3，在步骤S32之后，需要执行下述步骤S35，否则执行步骤S33，即直接将一级分类结果作为第一次分类结果，用于结算。
具体地，步骤35，若一级分类结果为相似商品，则根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品组中商品训练的模型。
具体地，利用在步骤S32中建立的数据集中的相似商品的数据对二级分类模型进行训练，训练时可以通过梯度下降的方式进行。二级分类模型和一级分类模型的区别在于训练时所使用的数据不同，一级分类模型使用的数据为购物场所内所有商品的数据，二级分类模型使用的数据为购物场所内相似商品数据。
训练好的二级分类模型对每个矩形区域图像中的商品进行分类，得到次级分类结果，该次级分类结果也为一个m维向量，向量中每个元素的含义表示二级分类模型认为待分类的单个商品属于m个相似商品中每个商品的概率。当矩形区域图像为5个时，次级分类结果的数量为5个m维向量，m小于等于n，且表示购物场所内相似商品的总数量。
实际中，购物场所内的相似商品有多组，如一组相似商品中包括黄元帅苹果和黄色的雪花梨，另一组相似商品中包括散装的盐和散装的白糖；再一组相似商品中包括碱面和面粉。可以针对所有组相似商品训练一个二级分类模型，为了进一步提高对商品分类的准确率，针对每组相似商品训练一个二级分类模型，此时，若一级分类结果为相似商品，则调用该一级分类结果对应的二级分类模型。
将训练二级分类模型时，二级分类模型输出的次级分类结果作为二级线性回归模型的输入，该次级分类结果对应的图片中所包含的商品的正确分类作为二级线性回归模型的输出，以此来训练二级线性回归模型。训练好的二级线性回归模型对多个次级分类结果进行数据融合，得到一个二级分类结果，并以其作为第一次分类结果，该二级分类结果表示二级线性回归模型预测图片中商品为购物场所内商品中哪个类别。
步骤S34，将第一次分类结果作为待识别的商品。
第一次分类结果获取后，再获取与第一次分类结果对应的商品价格，则顾客选取的商品所需支付的费用就确定了
步骤S4，待顾客离开购物场所时，根据该顾客的购物清单进行结算。
顾客挑选完商品后，经购物场所的门离开购物场所，在由内向外经过购物场所的门时，判断此顾客为离开购物场所状态，根据此顾客的购物清单进行结算，如从顾客注册时输入的支付账号中扣除与购物清单对应的费用。
为了方便顾客对所购商品进行核实，还会将识别结果实时发送至客户。如每个商品的识别结果会上传到云端服务器，然后云端服务器将识别结果下发到顾客手机安装的App，该App将识别结果添加到虚拟购物车里，生成购物清单，从而在拿取商品或放回商品后，第一时间告知顾客。当顾客来到店门口打算离开时，在店门口完成最终的支付环节。
参见图4，本发明另一实施例提供了一种结算装置，其包括：
注册模块401，用于在注册时接收顾客输入的身份信息及获取欲进入购物场所的顾客的身份信息。
实时跟踪模块402，与注册模块401连接，用于在购物场所内实时跟踪经注册模块获取身份信息的顾客以获取此顾客的位置。
生成购物清单模块403，与实时跟踪模块402连接，用于判断经实时跟踪模块获取的此顾客的位置与购物场所内商品的位置是否一致，若一致则将此顾客与商品涉及的拿取或放回动作关联，并在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；和
结算模块404，与生成购物清单模块403连接，用于根据生成购物清单模块404生成的购物清单进行结算。
具体地，生成购物清单模块403包括：关联单元，用于以承载商品的货架上安装的朝前方拍摄的朝前摄像头的位置表示商品的位置，当朝前摄像头拍摄到含有顾客的图片所表示的顾客身份信息与注册模块获取的身份信息相同时，则判断顾客的位置与购物场所内商品的位置一致；动作识别单元，用于获取此顾客在承载商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，虚拟动作分界线外为远离货架的方向，虚拟动作分界线内为靠近货架的方向；商品识别单元，用于识别拿取或放回动作所针对的商品；和购物清单生成单元，根据关联单元确认的此顾客的身份信息、动作识别单元识别的拿取或放回动作、商品识别单元识别的拿取或放回动作所针对的商品，生成此顾客的购物清单。
具体地，商品识别单元包括：用于根据动作识别单元获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；第一分类子单元，用于根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；确认单元，用于以一级分类结果作为第一次分类结果；和结果认定单元，用于将第一次分类结果作为待识别的商品。
需要说明的是，关于注册模块401的具体描述可参见上述实施例中步骤 S1的相关内容，关于实时跟踪模块402的具体描述可参见上述实施例中步骤 S2的相关内容，关于生成购物清单模块403的具体描述可参见上述实施例中步骤S3及步骤S31、32、33、34和35的相关内容，此处不再一一赘述。
本发明又一实施例提供了一种基于卷积神经网络的图像识别技术的结算装置，其包括：顶部摄像头、朝前摄像51、下方摄像头52、处理器和存储器。
顶部摄像头用于自购物场所的顶部向下进行拍摄以在购物场所内实时跟踪已获取身份信息的顾客；朝前摄像头用于朝货架的前方进行拍摄以获取位于承载商品的货架前的顾客的图片；下方摄像头用于向下方进行拍摄以获取顾客的手部图像；处理器；和用于存储处理器可执行的指令的存储器；其中，处理器被配置为：
识别预先注册的顾客以获取顾客的身份信息，身份信息包括顾客的脸部数据和支付账号；控制顶部摄像头实时跟踪已获取身份信息的顾客以获取此顾客的位置；判断此顾客的位置与控制朝前摄像头而获取的购物场所内商品的位置是否一致，若一致则将此顾客与商品涉及的拿取或放回动作关联，并在根据下方摄像头获取的手部图像识别的拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；根据购物清单清单进行结算。
参见图5，为了便于在结算方法或结算装置以及下述的结算系统中对商品进行准确地识别以及拍摄时能够更清晰、准确地看到每个承载平台53上货物的排列情况。承载商品的货架(或称结算装置用货架)包括：底座56用于提供支撑，置于地面上。立柱55设置在底座56上，可以以竖直方式设置，如可设置在底座56的一端以使立柱55和底座56的组合体呈L型，也可设置在底座56的上表面的中间部位以使立柱55和底座56的组合体呈倒置的T 型；还可以以倾斜方式设置，本实施例对此不进行限定。多个承载平台53 沿竖直方向(当立柱55竖直地设置在底座56上时，竖直方向即为立柱55 的长度方向)依次设置于立柱55的同一侧，任意相邻两个承载平台53之间留有间隔以形成容纳待摆放货物的空间，货物安装在每个承载平台53上。承载平台53远离立柱55的一端为自由端，任意相邻两个承载平台53中位于上方的承载平台53的自由端比位于下方的承载平台的自由端靠近立柱55，即多个承载平台53的宽度(即图5中承载平台53在水平方向上的长度)从上往下越来越宽，位于最下方的承载平台53的宽度最宽，位于最上方的承载平台53的宽度最窄，如此在从上往下对货物进行拍摄时能够更清晰、准确地看到每个承载平台53上货物的排列情况。
实际中，可以根据承载平台53的数量对货架进行称呼，当承载平台53 为多个时，可以将货架称为多层货架。承载平台53的数量优选为3个或4 个。
承载平台53可以为平板，承载平台53为一个连续体，摆放货物时，将货物放置在承载平台53上，如此可以方便较重、不易悬挂的货物的摆放。
在其他的实施例中，承载平台53可以包括：横杆和多个挂杆。横杆水平地设置在立柱55上，多个挂杆以相互平行且相互之间留有间隔的方式垂直设置在横杆上，此时承载平台53为一个断续体，摆放货物时，将货物悬挂在挂杆的下方，即货物位于承载平台53的下方，如此可以方便较轻、包装易变形的货物的摆放。
该货架尤其适用于即拿即走购物场所，在立柱52的上部设置有朝前摄像头51和下方摄像头52，朝前摄像头51的拍摄方向为向货架的前方(如图5 中的左侧)进行拍摄，即对位于货架前方的挑选货物的顾客进行拍摄；下方摄像头52位于承载平台53的上方，其拍摄方向为从承载平台53上方向下拍摄，即对承载平台53上的货物进行拍摄，该摄像头的拍摄范围覆盖货架上的货物。
下方摄像头52的数量优选为多个，如此可以确保顾客挑选的货物被拍摄到。多个下方摄像头52可以沿承载平台53的长度方向L依次分布在承载平台53的上方，各自的高度可以相等，也可以不等；多个下方摄像头52可以沿承载平台53的宽度方向W依次分布在承载平台53的上方，各自的高度可以相等，也可以不等；多个下方摄像头52中的一部分可以沿承载平台的长度方向L依次分布在承载平台53的上方，多个下方摄像头52中的另一部分可以沿承载平台的宽度方向W依次分布在承载平台53的上方，本实施例对此不进行限定。优选地，下方摄像头的数量为4个，在承载平台53的长度方向 L上依次分布2个，在承载平台53的宽度方向W上依次分布2个。
本发明再一实施例提供了一种结算系统，包括客户端和结算装置，客户端用于注册时接收顾客输入的身份信息并发送给结算装置和结算装置下发的购物清单。结算装置为前述的结算装置，具体内容不再此一一赘述。
综上，本发明实施例带来的有益效果如下：
运营成本低：相比于RFID方案，节省粘贴RFID带来的工作量。
适用范围广：适用于任意商品，不受商品形态、材质等属性的约束。
用户体验好：顾客在拿取商品后，可以第一时间获取相关信息
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (10)

1.一种结算方法，其特征在于，所述结算方法包括：
步骤S1，识别预先注册的顾客以获取顾客的身份信息，所述身份信息包括顾客的脸部数据和支付账号；
步骤S2，在购物场所内实时跟踪已获取身份信息的顾客以获取此顾客的位置；
步骤S3，判断此顾客的位置与购物场所内商品的位置是否一致，若一致则将此顾客与所述商品涉及的拿取或放回动作关联，并在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；
步骤S4，根据所述购物清单清单进行结算。
2.根据权利要求1所述的结算方法，其特征在于，步骤S3中，判断此顾客的位置与购物场所内商品的位置是否一致，具体包括：
以承载所述商品的货架上安装的朝前方拍摄的朝前摄像头的位置表示所述商品的位置，当所述朝前摄像头拍摄到含有顾客的图片所表示的顾客身份信息与所述步骤S1获取的身份信息相同时，则判断顾客的位置与购物场所内商品的位置一致。
3.根据权利要求1或2所述的结算方法，其特征在于，步骤S3中，识别拿取或放回动作，具体包括：
获取此顾客在承载所述商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；
当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；
当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；
其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向。
4.根据权利要求1所述的结算方法，其特征在于，步骤S3中，识别拿取或放回动作所针对的商品，具体包括：
S31，对获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；
S32，根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；
S33，以所述一级分类结果作为第一次分类结果；
S34，将所述第一次分类结果作为待识别的商品。
5.根据权利要求4所述的结算方法，其特征在于，在步骤S32之后，步骤S34之前，还包括：
S35，若一级分类结果为相似商品，则根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品组中商品训练的模型，否则执行步骤S33。
6.一种结算装置，其特征在于，所述结算装置包括：
注册模块，用于在注册时接收顾客输入的身份信息及获取欲进入购物场所的顾客的身份信息；
实时跟踪模块，与所述注册模块连接，用于在购物场所内实时跟踪经所述注册模块获取身份信息的顾客以获取此顾客的位置；
生成购物清单模块，与所述实时跟踪模块连接，用于判断经所述实时跟踪模块获取的此顾客的位置与购物场所内商品的位置是否一致，若一致则将此顾客与所述商品涉及的拿取或放回动作关联，并在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；和
结算模块，与所述生成购物清单模块连接，用于根据所述生成购物清单模块生成的购物清单进行结算。
7.根据权利要求6所述的结算装置，其特征在于，所述生成购物清单模块包括：
关联单元，用于以承载所述商品的货架上安装的朝前方拍摄的朝前摄像头的位置表示所述商品的位置，当所述朝前摄像头拍摄到含有顾客的图片所表示的顾客身份信息与所述注册模块获取的身份信息相同时，则判断顾客的位置与购物场所内商品的位置一致；
动作识别单元，用于获取此顾客在承载所述商品的货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向；
商品识别单元，用于识别所述拿取或放回动作所针对的商品；和
购物清单生成单元，根据所述关联单元确认的此顾客的身份信息、所述动作识别单元识别的拿取或放回动作、所述商品识别单元识别的拿取或放回动作所针对的商品，生成此顾客的购物清单。
8.根据权利要求6所述的结算装置，其特征在于，所述商品识别单元包括：
目标检测子单元，用于根据所述动作识别单元获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；
第一分类子单元，用于根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；
确认单元，用于以所述一级分类结果作为第一次分类结果；和
结果认定单元，用于将所述第一次分类结果作为待识别的商品。
9.一种结算装置，其特征在于，所述结算装置包括：
顶部摄像头，用于自购物场所的顶部向下进行拍摄以在购物场所内实时跟踪已获取身份信息的顾客；
朝前摄像头，用于朝货架的前方进行拍摄以获取位于承载商品的货架前的顾客的图片；
下方摄像头，用于向下进行拍摄以获取顾客的手部图像；
处理器；和
用于存储处理器可执行的指令的存储器；
其中，所述处理器被配置为：
识别预先注册的顾客以获取顾客的身份信息，所述身份信息包括顾客的脸部数据和支付账号；控制所述顶部摄像头实时跟踪已获取身份信息的顾客以获取此顾客的位置；判断此顾客的位置与控制所述朝前摄像头而获取的购物场所内商品的位置是否一致，若一致则将此顾客与所述商品涉及的拿取或放回动作关联，并在根据所述下方摄像头获取的手部图像识别的拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；根据所述购物清单清单进行结算。
10.一种结算系统，其特征在于，所述结算系统包括：客户端和结算装置；
所述客户端用于注册时接收顾客输入的身份信息并发送给所述结算装置和所述结算装置下发的购物清单；
所述结算装置为权利要求6～9中任一项所述的结算装置。
CN201711213100.2A 2017-08-16 2017-11-28 结算方法、装置和系统 Active CN109409175B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/330,076 US10963947B2 (en) 2017-08-16 2017-12-11 Method, a device and a system for checkout
JP2019512641A JP6743291B2 (ja) 2017-08-16 2017-12-11 会計方法、装置及びシステム
EP17921861.5A EP3671529A4 (en) 2017-08-16 2017-12-11 METHOD, DEVICE AND SYSTEM FOR BILLING
PCT/CN2017/115444 WO2019033635A1 (zh) 2017-08-16 2017-12-11 结算方法、装置和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710701938X 2017-08-16
CN201710701938 2017-08-16

Publications (2)

Publication Number Publication Date
CN109409175A true CN109409175A (zh) 2019-03-01
CN109409175B CN109409175B (zh) 2024-02-27

Family

ID=65463329

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711213100.2A Active CN109409175B (zh) 2017-08-16 2017-11-28 结算方法、装置和系统
CN201721613781.7U Active CN208957427U (zh) 2017-08-16 2017-11-28 结算装置用货架

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201721613781.7U Active CN208957427U (zh) 2017-08-16 2017-11-28 结算装置用货架

Country Status (4)

Country Link
US (1) US10963947B2 (zh)
EP (1) EP3671529A4 (zh)
JP (1) JP6743291B2 (zh)
CN (2) CN109409175B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921098A (zh) * 2018-07-03 2018-11-30 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
CN109948515A (zh) * 2019-03-15 2019-06-28 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN110009836A (zh) * 2019-03-29 2019-07-12 江西理工大学 基于高光谱摄像技术的深度学习的系统及方法
CN110379483A (zh) * 2019-06-12 2019-10-25 北京大学 针对疾病人群的饮食监督与推荐方法
CN110390271A (zh) * 2019-06-28 2019-10-29 联想(北京)有限公司 一种无人售货方法和设备
CN110781752A (zh) * 2019-09-27 2020-02-11 上海数烨数据科技有限公司 一种动态视觉智能柜多品类场景下的物体识别方法
CN110992140A (zh) * 2019-11-28 2020-04-10 浙江由由科技有限公司 一种用于识别模型的匹配方法和系统
CN111080307A (zh) * 2019-12-20 2020-04-28 刘净 基于量子ai遥感视觉的智能交易和社交方法及系统
CN111311304A (zh) * 2020-01-17 2020-06-19 西安奥卡云数据科技有限公司 一种基于视频的智能无人超市管理系统
CN111523481A (zh) * 2020-04-24 2020-08-11 无锡创思感知科技有限公司 一种应用于无人店的自动结算方法
CN112132868A (zh) * 2020-10-14 2020-12-25 杭州海康威视系统技术有限公司 一种支付信息的确定方法、装置及设备
CN112464697A (zh) * 2019-09-06 2021-03-09 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN112906759A (zh) * 2021-01-29 2021-06-04 哈尔滨工业大学 一种基于纯视觉的免门禁无人商店结账方法
CN112977671A (zh) * 2019-12-13 2021-06-18 丰田自动车株式会社 自主行驶单元、信息处理方法以及非暂时性存储介质
WO2021179137A1 (zh) * 2020-03-09 2021-09-16 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN113554801A (zh) * 2021-04-14 2021-10-26 浙江星星冷链集成股份有限公司 一种无人售货系统
CN114898249A (zh) * 2022-04-14 2022-08-12 烟台创迹软件有限公司 用于购物车内商品数量确认的方法、系统及存储介质
CN114973548A (zh) * 2022-05-23 2022-08-30 广东海洋大学 一种基于图像识别的无人智慧图书馆管理系统及方法
CN112464697B (zh) * 2019-09-06 2024-05-14 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299715B (zh) * 2017-07-24 2021-07-13 图灵通诺（北京）科技有限公司 基于卷积神经网络的图像识别技术的结算方法和装置
US11087273B1 (en) * 2017-12-14 2021-08-10 Amazon Technologies, Inc. Item recognition system using reference images
US11562614B2 (en) * 2017-12-25 2023-01-24 Yi Tunnel (Beijing) Technology Co., Ltd. Method, a device and a system for checkout
CN112639862A (zh) * 2018-06-29 2021-04-09 鬼屋技术有限责任公司 物品定位、清单创建、路线规划、成像和检测的系统、设备和方法
US11880877B2 (en) 2018-12-07 2024-01-23 Ghost House Technology, Llc System for imaging and detection
CN110472962A (zh) * 2019-08-13 2019-11-19 广州云徙科技有限公司 一种基于图像识别的无人支付方法以及无人支付货架系统
JP7368982B2 (ja) 2019-09-05 2023-10-25 東芝テック株式会社 販売管理システム及び販売管理方法
US11393253B1 (en) 2019-09-16 2022-07-19 Amazon Technologies, Inc. Using sensor data to determine activity
JP7366660B2 (ja) * 2019-09-17 2023-10-23 東芝テック株式会社 画像処理装置および画像処理プログラム
JP6982259B2 (ja) * 2019-09-19 2021-12-17 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP7349923B2 (ja) 2020-02-03 2023-09-25 東芝テック株式会社 取引処理システム
CN111354024B (zh) * 2020-04-10 2023-04-21 深圳市五元科技有限公司 关键目标的行为预测方法、ai服务器及存储介质
DE102020205699A1 (de) * 2020-05-06 2021-11-11 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanlage, Verfahren, Computerprogramm, Speichermedium und Überwachungseinrichtung

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030747A (ja) * 2001-07-19 2003-01-31 National Institute Of Advanced Industrial & Technology 自動化ショッピングシステム
CN1787003A (zh) * 2004-12-09 2006-06-14 国际商业机器公司 用于使购物者能够购买物品的虚拟购物环境和方法
WO2013033442A1 (en) * 2011-08-30 2013-03-07 Digimarc Corporation Methods and arrangements for identifying objects
US20150019391A1 (en) * 2013-06-26 2015-01-15 Amazon Technologies, Inc. Detecting item interaction and movement
CN104361693A (zh) * 2014-11-19 2015-02-18 肖丹 一种智能商场自动结算系统及其实现方法
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
CN106056397A (zh) * 2015-04-07 2016-10-26 东芝泰格有限公司 销售数据处理装置及其控制方法、服务器
CN106504074A (zh) * 2016-11-14 2017-03-15 上海卓易科技股份有限公司 一种智能购物方法及系统
CN106781121A (zh) * 2016-12-14 2017-05-31 朱明� 基于视觉分析的超市自助结账智能系统
CN106779871A (zh) * 2017-01-09 2017-05-31 白逸飞 超市购物方法与系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006022503A1 (en) 2004-08-23 2006-03-02 Retail Tech Co., Ltd. Shopping pattern analysis system and method based on rf
US9536135B2 (en) * 2012-06-18 2017-01-03 Microsoft Technology Licensing, Llc Dynamic hand gesture recognition using depth data
US10290031B2 (en) * 2013-07-24 2019-05-14 Gregorio Reid Method and system for automated retail checkout using context recognition
US20160110791A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US10475185B1 (en) * 2014-12-23 2019-11-12 Amazon Technologies, Inc. Associating a user with an event
CN109414119B (zh) * 2016-05-09 2021-11-16 格拉班谷公司 用于在环境内计算机视觉驱动应用的系统和方法
CN106204240A (zh) 2016-07-23 2016-12-07 山东华旗新能源科技有限公司 智慧购物管理系统
CN106557791B (zh) 2016-10-20 2019-06-04 江苏蒲公英无人机有限公司 一种超市购物管理系统及其方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030747A (ja) * 2001-07-19 2003-01-31 National Institute Of Advanced Industrial & Technology 自動化ショッピングシステム
CN1787003A (zh) * 2004-12-09 2006-06-14 国际商业机器公司 用于使购物者能够购买物品的虚拟购物环境和方法
WO2013033442A1 (en) * 2011-08-30 2013-03-07 Digimarc Corporation Methods and arrangements for identifying objects
US20150019391A1 (en) * 2013-06-26 2015-01-15 Amazon Technologies, Inc. Detecting item interaction and movement
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
CN104361693A (zh) * 2014-11-19 2015-02-18 肖丹 一种智能商场自动结算系统及其实现方法
CN106056397A (zh) * 2015-04-07 2016-10-26 东芝泰格有限公司 销售数据处理装置及其控制方法、服务器
CN106504074A (zh) * 2016-11-14 2017-03-15 上海卓易科技股份有限公司 一种智能购物方法及系统
CN106781121A (zh) * 2016-12-14 2017-05-31 朱明� 基于视觉分析的超市自助结账智能系统
CN106779871A (zh) * 2017-01-09 2017-05-31 白逸飞 超市购物方法与系统

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921098B (zh) * 2018-07-03 2020-08-18 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
US10970528B2 (en) 2018-07-03 2021-04-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method for human motion analysis, apparatus for human motion analysis, device and storage medium
CN108921098A (zh) * 2018-07-03 2018-11-30 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
CN109948515A (zh) * 2019-03-15 2019-06-28 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN109948515B (zh) * 2019-03-15 2022-04-15 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN110009836A (zh) * 2019-03-29 2019-07-12 江西理工大学 基于高光谱摄像技术的深度学习的系统及方法
CN110379483A (zh) * 2019-06-12 2019-10-25 北京大学 针对疾病人群的饮食监督与推荐方法
CN110390271A (zh) * 2019-06-28 2019-10-29 联想(北京)有限公司 一种无人售货方法和设备
CN112464697A (zh) * 2019-09-06 2021-03-09 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN112464697B (zh) * 2019-09-06 2024-05-14 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN110781752A (zh) * 2019-09-27 2020-02-11 上海数烨数据科技有限公司 一种动态视觉智能柜多品类场景下的物体识别方法
CN110992140A (zh) * 2019-11-28 2020-04-10 浙江由由科技有限公司 一种用于识别模型的匹配方法和系统
CN112977671A (zh) * 2019-12-13 2021-06-18 丰田自动车株式会社 自主行驶单元、信息处理方法以及非暂时性存储介质
CN112977671B (zh) * 2019-12-13 2023-08-22 丰田自动车株式会社 自主行驶单元、信息处理方法以及非暂时性存储介质
US11972391B2 (en) 2019-12-13 2024-04-30 Toyota Jidosha Kabushiki Kaisha Autonomous traveling unit, information processing method and non-transitory storage medium
CN111080307A (zh) * 2019-12-20 2020-04-28 刘净 基于量子ai遥感视觉的智能交易和社交方法及系统
CN111080307B (zh) * 2019-12-20 2023-08-18 刘净 基于量子ai遥感视觉的智能交易和社交方法及系统
CN111311304A (zh) * 2020-01-17 2020-06-19 西安奥卡云数据科技有限公司 一种基于视频的智能无人超市管理系统
WO2021179137A1 (zh) * 2020-03-09 2021-09-16 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN111523481A (zh) * 2020-04-24 2020-08-11 无锡创思感知科技有限公司 一种应用于无人店的自动结算方法
CN112132868A (zh) * 2020-10-14 2020-12-25 杭州海康威视系统技术有限公司 一种支付信息的确定方法、装置及设备
CN112132868B (zh) * 2020-10-14 2024-02-27 杭州海康威视系统技术有限公司 一种支付信息的确定方法、装置及设备
CN112906759A (zh) * 2021-01-29 2021-06-04 哈尔滨工业大学 一种基于纯视觉的免门禁无人商店结账方法
CN113554801A (zh) * 2021-04-14 2021-10-26 浙江星星冷链集成股份有限公司 一种无人售货系统
CN114898249B (zh) * 2022-04-14 2022-12-13 烟台创迹软件有限公司 用于购物车内商品数量确认的方法、系统及存储介质
CN114898249A (zh) * 2022-04-14 2022-08-12 烟台创迹软件有限公司 用于购物车内商品数量确认的方法、系统及存储介质
CN114973548A (zh) * 2022-05-23 2022-08-30 广东海洋大学 一种基于图像识别的无人智慧图书馆管理系统及方法

Also Published As

Publication number Publication date
EP3671529A4 (en) 2020-07-22
EP3671529A1 (en) 2020-06-24
US20190228457A1 (en) 2019-07-25
CN109409175B (zh) 2024-02-27
CN208957427U (zh) 2019-06-11
US10963947B2 (en) 2021-03-30
JP2019530923A (ja) 2019-10-24
JP6743291B2 (ja) 2020-08-19

Similar Documents

Publication Publication Date Title
CN109409175A (zh) 结算方法、装置和系统
US11151427B2 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
US11501523B2 (en) Goods sensing system and method for goods sensing based on image monitoring
WO2019033635A1 (zh) 结算方法、装置和系统
US10290031B2 (en) Method and system for automated retail checkout using context recognition
CN108198052A (zh) 用户选购商品识别方法、装置以及智能货架系统
CN107679850A (zh) 一种商品结算方法、装置及系统
WO2019127618A1 (zh) 结算方法、装置和系统
CN108876504A (zh) 一种无人售卖系统及其控制方法
CN109934569B (zh) 结算方法、装置和系统
EP3901841A1 (en) Settlement method, apparatus, and system
CN114898249B (zh) 用于购物车内商品数量确认的方法、系统及存储介质
CN108652161A (zh) 一种智能识别旅行箱及其控制方法
CN108038473A (zh) 用于输出信息的方法和装置
CN111222388B (zh) 基于视觉识别的结算方法和系统
CN109858448A (zh) 一种零售场景下的物品识别方法及设备
CN110910590A (zh) 检测设备、检测方法、服务器以及设备控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant