CN110555356A - 自助结帐系统、方法与装置 - Google Patents

自助结帐系统、方法与装置 Download PDF

Info

Publication number
CN110555356A
CN110555356A CN201811608775.1A CN201811608775A CN110555356A CN 110555356 A CN110555356 A CN 110555356A CN 201811608775 A CN201811608775 A CN 201811608775A CN 110555356 A CN110555356 A CN 110555356A
Authority
CN
China
Prior art keywords
checkout
customer
image
product
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811608775.1A
Other languages
English (en)
Inventor
陈明彦
林昶宏
杨欣晔
萧柏宣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW107146687A external-priority patent/TWI773863B/zh
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN110555356A publication Critical patent/CN110555356A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3278—RFID or NFC payments by means of M-devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/405—Establishing or using transaction specific rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本发明涉及一种自助结帐系统、方法与装置，包括商品辨识以及判断顾客异常行为的功能。自助结帐系统包括商品辨识装置以及顾客异常行为检测装置。商品辨识装置用以对商品进行辨识，其中包括用以检测商品在平台上的摆放方式是否正确，并且确认是否可以完成辨识。顾客异常行为检测装置用以针对顾客是否有异常结帐行为进行检测。

Description

自助结帐系统、方法与装置
技术领域
本发明涉及一种自助结帐系统、方法与装置。
背景技术
目前自助结帐系统主要有两种，分别是人工刷条形码自助结帐系统以及计算机视觉自助结帐系统。人工刷条形码自助结帐系统透过判断商品重量是否异常，录像事后分析，以及派人定期巡视降低顾客偷窃的发生率。计算机视觉自助结帐系统仅能辨识台面上的商品，无法检测顾客是否将商品放到平台上如实结帐，当商品辨识状况不佳时，仅能透过店员手动排除。
发明内容
为了解决上述技术问题，本发明目的在于提供一种自助结帐系统，其中包括：
平台，经配置用以放置至少一个商品；
商品辨识装置，经配置用以对放置在该平台上的该至少一个商品进行商品辨识；以及
顾客异常行为检测装置，经配置用以根据在该平台前取得的顾客影像进行异常结帐行为检测，以取得异常行为检测结果，其中，当判断该异常行为检测结果为异常行为时，发出异常行为通知，据以调整该异常行为。
该自助结帐系统，其中该顾客异常行为检测装置包括:
至少一个影像采集单元，用以取得该顾客影像；以及
处理器，经配置用以对该顾客影像进行该异常结帐行为检测，以取得该异常行为检测结果，
其中该异常结帐行为检测包括进行姿态辨识流程，以确认该顾客影像中的结账姿势，而后根据该结账姿势，对一区域进行手持物品辨识流程以取得该异常行为检测结果。
该自助结帐系统，其中该顾客异常行为检测装置的该处理器经配置用以进行该姿态辨识流程之前，先对该顾客影像进行实时骨架定位流程，以取得该顾客影像中的该顾客的骨架定位信息，以进行该姿态辨识流程。
该自助结帐系统，其中该处理器经配置用以从该顾客影像取得该顾客的身体骨架线条，将该身体骨架线条与预设模型比对，以取得该骨架定位信息。
该自助结帐系统，其中该顾客异常行为检测装置的该处理器经配置用以根据取得该顾客影像中的多个关键点，以及将该些关键点所形成的关键点线条与该预设模型进行比对，以取得对应该顾客的该结账姿势。
该自助结帐系统，其中该顾客异常行为检测装置的该处理器还根据该结账姿势取得人体姿态类别，并用以判断手持物品候选区域的位置和范围，以进行该手持物品辨识流程。
该自助结帐系统，其中该商品辨识装置对放置在该平台上的该至少一个商品进行该商品辨识以取得辨识结果，其中当无法取得该辨识结果时，发出提示通知，以调整该至少一个商品在该平台的放置方式。
该自助结帐系统，其中该商品辨识装置透过摄影机辨识该顾客影像的顾客手势以开始进行该商品辨识，或透过红外线、超音波或微波检测判断顾客是否靠近该平台以开始进行该商品辨识。
该自助结帐系统，其中该商品辨识装置经配置用以投影编号于该至少一个商品上。
该自助结帐系统，其中该商品辨识装置包括：
影像采集单元，取得放置在该平台上的该至少一个商品的平台影像；
处理器，对该平台影像进行该商品辨识，取得对应于该至少一个商品的多个特征，并根据该些特征与商品特征数据库进行比对取得该辨识结果。
该自助结帐系统，其中该商品辨识装置的该处理器经配置用以对于该平台影像进行该商品辨识，取得对应于该至少一个商品的该些特征以进行比对取得该辨识结果时，若该些特征数量不足以进行判断，则发出该提示通知以调整该至少一个商品在该平台的放置方式。
该自助结帐系统，其中该商品辨识装置的该处理器经配置用以对该平台影像中以边缘检测切割出多个商品区域，并且于该些商品区域之中检测该至少一个商品的该些特征，并辨识该至少一个商品的该些特征。
该自助结帐系统，其中该商品辨识装置的该处理器经配置用以对于该平台影像进行该商品辨识，是根据在该商品区域中的影像与该商品特征数据库进行比对，而得到对应的分类结果信心度，判断是否该分类结果信心度大于阀值而认定是否取得该辨识结果。
本发明还公开了一种自助结帐方法，其中包括：
对放置在平台上的至少一个商品进行商品辨识；
取得顾客影像；以及
根据该顾客影像进行异常结帐行为检测，并根据该顾客影像取得异常行为检测结果，其中
当判断该异常行为检测结果为异常行为时，发出异常行为通知，据以调整该异常行为。
该自助结帐方法，其中该异常结帐行为检测包括进行姿态辨识流程，以确认该顾客影像中的结账姿势，而后根据该结账姿势对一区域进行手持物品辨识流程，以取得该异常行为检测结果。
该自助结帐方法，其中该姿态辨识流程之前，先对该顾客影像进行实时骨架定位流程，以取得该顾客影像中的该顾客的骨架定位信息，以便据以进行该姿态辨识流程。
该自助结帐方法，其中该实时骨架定位流程从该顾客影像取得该顾客的身体骨架线条，将该身体骨架线条与预设模型比对，以取得该骨架定位信息。
该自助结帐方法，其中该手持物品辨识流程包括根据取得该顾客影像中的多个关键点，以及将该些关键点所形成的关键点线条与该预设模型进行比对，以取得对应该顾客的该结账姿势。
该自助结帐方法，其中还根据该结账姿势判断手持物品候选区域的位置和范围，以进行该手持物品辨识流程。
该自助结帐方法，其中还包括取得在该平台上的该至少一个商品的平台影像，根据该平台影像取得辨识结果，当无法取得该辨识结果时，发出提示通知，以调整该至少一个商品的放置方式。
该自助结帐方法，其中还包括透过辨识该顾客影像的顾客手势以启动开始进行该商品辨识或透过红外线、超音波或微波检测判断顾客是否靠近该平台以开始进行该商品辨识。
该自助结帐方法，其中还包括投影编号于该至少一个商品上。
该自助结帐方法，其中该商品辨识包括根据该平台影像取得对应于该至少一个商品的多个特征，并根据该些特征与商品特征数据库进行比对取得该辨识结果。
该自助结帐方法，其中对该平台影像进行该商品辨识，取得对应于该至少一个商品的该些特征，以进行比对取得该辨识结果时，若该些特征数量不足以进行判断，则发出该提示通知以调整该至少一个商品在该平台的放置方式。
该自助结帐方法，其中对该平台影像进行该商品辨识而取得对应于该至少一个商品的该些特征包括对该平台影像中以边缘检测切割出多个商品区域，并且于该些商品区域之中检测该至少一个商品的该些特征，并辨识该至少一个商品的该些特征。
该自助结帐方法，其中对该平台影像进行该商品辨识时，取得该些特征的数量是根据该平台影像切割出来的该些商品区域的影像与该商品特征数据库进行比对，而得到对应的分类结果信心度，判断是否大于阀值而认定是否取得该辨识结果。
本发明还公开了一种自助结帐装置，其中包括：
平台，经配置用以放置至少一个商品；
影像采集装置，用以取得平台影像及顾客影像；以及
处理器，经配置用以对放置在该平台上的该至少一个商品进行商品辨识流程或异常结帐行为检测流程，
其中该商品辨识流程包括根据该平台影像取得辨识结果，其中当无法取得该辨识结果时，发出提示通知，以调整该至少一个商品在该平台的放置方式，
其中该异常结帐行为检测流程根据在该顾客影像进行异常结帐行为检测，以取得异常行为检测结果，其中，当该异常行为检测结果确认为异常行为时，发出异常行为通知，据以调整该异常行为。
该自助结帐系统，其中该处理器经配置用以对该平台影像进行该商品辨识，取得对应于该至少一个商品的多个特征，并根据该些特征与商品特征数据库进行比对取得该辨识结果。
该自助结帐装置，其中该处理器经配置用以对该平台影像进行该商品辨识，取得对应于该至少一个商品的该些特征数量进行比对取得该辨识结果时，若该些特征数量不足以进行判断，则发出该提示通知以调整该至少一个商品在该平台的放置方式。
该自助结帐装置，其中该理器经配置用以对该平台影像进行该商品辨识而取得对应于该至少一个商品的该些特征包括对该平台影像中以边缘检测切割出多个商品区域，并且于该些商品区域之中检测该至少一个商品的该些特征，并进行辨识取得该至少一个商品的该些特征。
该自助结帐装置，其中该处理器经配置用以对该平台影像进行该商品辨识时，取得该些特征的数量是根据切割出来的该些商品区域的影像与该商品特征数据库进行比对，而得到对应的分类结果信心度，判断是否大于阀值而认定是否取得该辨识结果。
该自助结帐装置，其中该处理器经配置用以对该顾客影像进行该异常结帐行为检测，以取得该异常行为检测结果，其中该异常结帐行为检测包括进行姿态辨识流程，以确认该顾客影像中的结账姿势，而后根据该结账姿势对一区域进行手持物品辨识流程，以取得该异常行为检测结果。
该自助结帐装置，其中该处理器经配置用以进行该姿态辨识流程之前，先对该顾客影像进行实时骨架定位流程，以取得该顾客影像中的该顾客的骨架定位信息，以便据以进行该姿态辨识流程。
该自助结帐装置，其中该处理器经配置用以从该顾客影像取得该顾客的身体骨架线条，将该身体骨架线条与预设模型比对，以取得该骨架定位信息。
该自助结帐装置，其中该处理器经配置用以根据取得该顾客影像中的多个关键点，以及将该些关键点所形成的关键点线条与该预设模型进行比对，以取得对应该顾客的该结账姿势。
该自助结帐装置，其中该处理器经配置用以进行该手持物品辨识流程还包括根据该结账姿势取得人体姿态类别，并用以判断手持物品候选区域的位置和范围，以进行该手持物品辨识流程。
附图说明
图1A为本发明多个实施例之一的自助结帐系统的架构示意图；
图1B为计算机视觉协同自助结帐服务流程架构示意图；
图2为本发明多个实施例之一的自助结帐系统的架构示意图；
图3A为本发明实施范例的顾客异常行为检测流程示意图；
图3B～3D分别为本发明实施范例中，根据顾客影像进行顾客姿态辨识流程示意图；
图4A以及图4B为本发明实施范例的行为及/或姿势辨识流程与手持物品辨识流程示意图；
图5为本发明内容实施例所提出计算机视觉商品辨识流程示意图；
图6A与6B分别为本发明内容实施例所提出的商品物件切割流程示意图；
图6C为本发明内容实施例所提出的商品特征辨识示意图；
图7A为本发明内容实施例所提出的商品的分类流程示意图；
图7B为本发明内容实施例所建立分类结果信心值表的示意图；
图7C为本发明内容实施例所提出的商品面向判断流程判断商品的面向的示意图；
图7D为本发明内容实施例所提出的商品相连检测的示意图；
图7E为本发明内容实施例所提出的提示顾客调整商品摆设方式的示意图。
符号说明：
100：自助结帐系统
110：顾客异常行为检测装置
112：处理器
114：存储装置
116：影像采集装置
120：商品辨识装置
122：处理器
124：存储装置
126：影像采集装置
130：平台
132：结帐区
S01～S08：计算机视觉协同自助结帐服务流程
210：顾客异常行为检测装置
212、214：影像采集装置
216：处理器
220：商品辨识装置
222：影像采集装置
224：投影设备
230：平台
232：结帐区
240：显示装置
242：显示内容
250：服务器主机
S310～S360：顾客异常行为检测装置的操作流程
S332～S336：顾客姿态辨识流程
410：顾客影像
411：姿态辨识结果
412：肩膀、手肘和手腕关键点线条
414：候选区域
416：YOLO算法
431～435：商品与手掌可能出现的区域及关键点线条
610、620：取得的影像
630～660：商品特征
S710～S730：商品的分类流程
722、724：方形饮料包装上方与底部影像
726：瓶装饮料盖面
732：饮料瓶影像
734：饮料瓶与其他商品影像
740：平台
742：第一颜色区域
744：第二颜色区域
具体实施方式
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
本发明的多个实施范例其中之一的自助结帐系统，包括商品辨识装置以及顾客异常行为检测装置。商品辨识装置用以对商品进行辨识，其中包括用以检测商品在平台上的摆放方式是否正确，并且确认是否可以完成辨识。检测商品种类可以利用重量及/或深度检测辅助辨别商品。顾客异常行为检测装置用以针对顾客是否有异常结帐行为进行检测。基于上述，本发明还可辨识异常结帐行为，进行骨架、行为模式辨识与持有商品检测，可排除如皮包、手机等个人物品后，判断顾客是否手上仍持有商品。除此之外，在另一选择实施例中，此自助结帐系统及其方法可自动辨识顾客购买商品的品项与数量，尤其是辨识商品摆放方式是否能在摄影机视角内显示足够的商品特征，并提示顾客将商品翻面或分离后以完成商品的辨识。
底下将以不同实施范例说明本发明内容所提出的自助结帐系统及其方法，但不以此为限制。
请参照图1A，主要是绘示本发明多个实施例之一的自助结帐系统的架构示意图。在此实施例中，自助结帐系统100包括顾客异常行为检测装置110、商品辨识装置120以及平台130。在平台130上包括一个明显可见的结帐区132，用以让顾客可以放置商品。
顾客异常行为检测装置110以及商品辨识装置120可互相连接或是以分离的方式独立运作，在一实施例中，顾客异常行为检测装置110以及商品辨识装置120中的各元件可共享。在本发明的一实施例中，商品辨识装置120可以优先于顾客异常行为检测装置110进行运作，此方式可在顾客将所有物品放置到结帐的平台130上之后，在进行结帐计算之前可以确认顾客是否手上仍持有商品。除此之外，顾客异常行为检测装置110以及商品辨识装置120也可视需求同时运作。
在一个实施范例中，上述的顾客异常行为检测装置110可以包括处理器112、存储装置114、以及影像采集装置116。上述的处理器(Processor)112可以是通用架构的计算机中央处理器(CPU)，可以通过读取并执行存储在存储装置的程序或是指令，而提供各种功能。此处理器112的功能的一部分或全部也可由专用集成电路(Application SpecificIntegrated Circuit，ASIC)等专用电路代替。上述的存储装置114可以是非易失性存储器(Nonvolatile Memory)，例如硬盘、固态硬盘或是闪存储器等，可用以储存取得的影像。存储装置114也可以用来储存用以提供给顾客异常行为检测装置110进行顾客异常行为检测运作所需要的程序软件或是指令集等。上述的影像采集装置116，例如照相机或是摄影机，用以拍照以取得顾客结帐时的影像。
顾客异常行为检测运作所需要的程序软件例如包括实时骨架定位程序、行为辨识程序、手持品辨识程序等。在一个选择实施例中，上述存储装置也可储存多个数据库，而这些数据库用以储存多个结帐行为数据以及深度学习数据。在另外一个选择实施例中，上述的多个或是部分数据库，可储存在远端的主机服务器或是云端数据库中，而顾客异常行为检测装置110可包括网络存取装置，可根据需要在线存取或是从远端的主机服务器或是云端数据库中下载来使用。
在一个实施范例中，上述的商品辨识装置120可以包括处理器122、存储装置124、影像采集装置126、及/或显示装置128。上述的处理器(Processor)122可以是通用架构的计算机中央处理器(CPU)，可以通过读取并执行存储在存储装置的程序或是指令，而提供各种功能。而此处理器122的功能的一部分或全部也可由专用集成电路(ASIC)等专用电路代替。存储装置124可以包括非易失性存储器，例如是硬盘、固态硬盘、闪存储器等。上述存储装置124用以储存商品辨识装置120运作所需程序，包含例如商品物件切割程序、商品特征辨识程序、商品放置判断程序、商品面向判断程序、以及商品相连检测程序部分或全部等。影像采集装置126例如照相机或是摄影机，用以对结帐区进行拍照以产生平台130上的结帐区132内的影像。
在一个选择实施例中，上述存储装置124也可储存多个数据库，而这些数据库用以储存多个结帐行为数据以及深度学习数据。在另外一个选择实施例中，上述的多个或是部分数据库，可储存在远端的主机服务器或是云端数据库中，而商品辨识装置120可包括网络存取装置，可根据需要在线存取或是从远端的主机服务器或是云端数据库中下载来使用。上述存储装置用以也可包括一个数据库，用以储存多个商品数据以及深度学习数据。
除此之外，商品辨识装置120也可配置显示装置128如屏幕或投影机等，用以显示顾客界面或是显示提示信息等。此显示装置128可以为触控式屏幕，用以提供顾客界面以利与顾客互动，在另一实施例中，显示装置128也可以是独立商品辨识装置120之外的不同装置，或是其他装置的显示器等，并非受此实施例所限制。商品辨识装置120也可配置声音播放装置如扬声器等，用以发出音乐、提示声音或其他的说明等声音。上述两者可同时使用或择一使用。
本发明所提出的自助结帐系统，在一实际应用实施范例，可参照图1B所示。图1B是说明在一个计算机视觉协同自助结帐服务流程。在此计算机视觉协同自助结帐服务流程中，根据底下的流程搭配自助结帐系统100及/或其他的周边设备完成整个自助结帐流程。
请参照图1B，在步骤S01的待机时，自助结帐系统100的显示装置进行待机状态，例如显示使用步骤的说明。顾客接近时，如步骤S02，自助结帐系统100被唤醒。接着步骤S03，顾客将多个商品放置于平台上，自助结帐系统100利用商品辨识装置120的影像采集装置126辨识商品，在一实施例中，也可利用重量及/或深度检测辅助辨别商品。接着步骤S04，在显示装置上显示对应的信息(可同时显现多个商品信息)。而后，步骤S05，显示支付金额，然后如步骤S07，让顾客进行付款。并且如步骤S08取得收据。
上述的计算机视觉协同自助结帐服务流程中，使用的计算机视觉商品辨识技术，可以是透过计算机视觉、深度学习技术检测台面商品的影像特征，基于商品的形状、颜色、文字、商标、条形码等特征共同决策，实时辨识顾客购买品项、数量，结合行动支付实现自助结帐。如果影像采集装置126的视角内的商品未显示出足够的商品特征，例如商品未平放、商品互相堆栈屏蔽，商品辨识装置120可自动检测并且透过屏幕或投影机投射“请将商品翻面、分离”的提示。顾客将商品翻面、分离后即可完成此商品的辨识。此提示可以采用颜色、文字等任何可以引起注意的提示内容提醒顾客。
而在上述的计算机视觉协同自助结帐服务流程中，使用的计算机视觉商品辨识技术特性，可以跟顾客进行互动，以使结帐顺利完成。在顾客摆放商品后，在一实施范例中可以透过摄影机辨识顾客的手势以开始检测商品，或是透过如红外线、超音波、微波传感器判断顾客是否靠近结帐台。辨识商品时，可将各商品编号投影于商品上，并于显示装置128中显示商品编号及名称，使顾客得知辨识出的商品。若商品未正确摆放，提示顾客正确摆放商品，并辨识顾客的手势以再开始检测商品。若自助结帐系统100检测顾客手中仍有商品未摆放，提醒顾客摆放商品。
而在上述的计算机视觉协同自助结帐服务流程中，使用的异常结帐行为判断技术，包括异常行为判断与提醒、顾客手中所持物品未全部置入结帐区、商品重量与辨识结果不符及/或顾客操作失误主动判断并提示店员主动协助等。而运用到异常结帐行为判断的技术，可以包括实时骨架定位技术模块、行为/姿态辨识技术模块、手持物品辨识技术模块等，底下将详细说明。
请参照图2，是绘示本发明多个实施例之一的自助结帐系统的架构示意图。在此实施例中，自助结帐系统100包括顾客异常行为检测装置210、商品辨识装置220以及平台230。在平台230上包括一个明显可见的结帐区232，用以让顾客可以放置商品。顾客异常行为检测装置210与商品辨识装置220的位置只是示意图，可以在自助结帐系统100的任何位置。
而在一个实际运用例子中，因为要取得顾客的影像，顾客异常行为检测装置210可包括位于两侧的影像采集装置212与214，而这两个影像采集装置212与214的位置可以根据需要而调整，并非受限于图示中的位置。影像采集装置212与214用以采集在在平台230前取得的一顾客影像。顾客异常行为检测装置210经配置用以根据此顾客影像进行异常结帐行为检测，以取得一异常行为检测结果。当判断此异常行为检测结果为一异常行为时，发出一异常行为通知，据以调整异常行为。
商品辨识装置220则是在一实施范例中可以包括一个影像采集装置222以及一投影设备224。此投影设备224可以例如将各商品编号投影于商品上，并于显示装置中显示商品编号及名称，使顾客得知辨识出的商品。另外，若商品未正确摆放，也可藉由投射而提示顾客正确摆放商品，并辨识顾客的手势以再开始检测商品。上述的影像采集装置212与214、影像采集装置222、或是投影设备224的位置都可以根据需要调整，而且也可以共享共享，因此例如顾客异常行为检测装置210或是商品辨识装置220都可以共同驱动使用这些设备，以达到操作上必须进行的运作。
在一个实施例中，自助结帐系统100可以包括一个显示装置240，可以经由显示内容242与顾客互动，也可经由显示装置240的触控面板等装置与顾客进行交流。在一个实施例中，自助结帐系统100可以透过网络存取装置与外部的服务器主机250进行通联。在上述实施例中，顾客异常行为检测装置210或是商品辨识装置220的多个或是部分数据库可储存在远端的服务器主机250或是云端数据库(未显示)中。
在另外一个实施范例中，如图2所示，自助结帐系统100可以包括至少一处理器216、多个影像采集装置212、214、222、一投影设备224、存储装置(未显示)以及显示装置240。而此处理器216用以执行顾客异常行为检测模块以及商品辨识模块。此顾客异常行为检测模块以及商品辨识模块为储存于存储装置内的程序集或软件。
在一个实施范例中，上述的顾客异常行为检测模块的功能包括异常行为判断与提醒、顾客手中所持物品未全部置入结帐区、商品重量与辨识结果不符及/或顾客操作失误主动判断并提示店员主动协助等，也就是上述几个功能模块可根据不同的需求调整不同的组合。而运用到异常结帐行为判断的技术，可以包括实时骨架定位技术模块、行为/姿态辨识技术模块及/或手持物品辨识技术模块等其中部分或是全部。
在一个实施范例中，上述的商品辨识模块功能包括透过计算机视觉、深度学习技术检测台面商品的影像特征，基于商品的形状、颜色、文字、商标、条形码等特征共同决策，实时辨识顾客购买品项、数量，结合行动支付实现自助结帐。如果摄影机视角内的商品未显示除足够的商品特征，例如商品未平放、商品互相堆栈屏蔽，辨识系统可自动检测并且透过投影机投射“请将商品翻面、分离”的提示。顾客将商品翻面、分离后即可完成此商品的辨识。此提示可以采用颜色、文字等任何可以引起注意的提示内容提醒顾客。
底下将对本发明所提出的自助结帐系统中，顾客异常行为检测装置210的操作流程进行说明。请参照图3A，为说明本发明实施范例的顾客异常行为检测流程示意图。在商品辨识完成或是正在进行商品辨识的步骤S310之后，进行步骤S320，取得结帐区域的顾客影像。接着步骤S330，根据取得的顾客影像进行顾客姿态辨识流程并取得一姿态辨识结果。而后根据此姿态辨识结果判断此顾客是否有异常结帐行为，如步骤S340。若是步骤S340判断此顾客有异常结帐行为时，则进行步骤S350，发出异常结帐行为通知。若是步骤S340判断此顾客没有异常结帐行为时，则进行步骤S360，可以进行结帐。
请参照图3B与图3C，分别为说明本发明实施范例的顾客异常行为检测装置210的操作流程中的步骤S340，根据顾客影像进行顾客姿态辨识流程的范例示意图。上述根据顾客影像进行顾客姿态辨识流程，可采用如图3B所示的流程，包括进行行为及/或姿态辨识流程S334以及手持物品辨识流程S336以取得上述的姿态辨识结果。在另一实施例中，如图3C所示，可以包括先进行实时骨架定位流程S332，而后再进行行为及/或姿态辨识流程S334以及手持物品辨识流程S336，以取得上述的姿态辨识结果。
上述的实时骨架定位流程S332，请参照图3D，在一个实施例中，包括执行一实时骨架定位模块(Realtime Human 2D Pose Estimation)。实时骨架定位流程S332包括将取得的顾客影像361作为2分支(Branch)卷积神经网络(Convolutional NeuralNetwork，CNN)的输入。如图3D，将顾客影像361输入第一分支与第二分支。经过两阶段的运算之后，以联合预测身体部分检测(Body Part Detection)和部分亲和区域(PartAffinity Field)的可信度映射表(Confidence Map)，其用于取得部分关联。部分亲和区域(PartAffinity Field)是一组2D矢量区域，用于对图像域上肢体的位置和方向进行编码。透过Body Part以及PartAffinity Field的图像标记训练出两分支的模型。在2分支多阶段CNN架构中，第一个分支中的阶段t预测信度映射表St，第二个分支中的阶段t预测PAFs Lt。在每个阶段之后，来自两个分支的预测以及图像特征则在下一阶段连接在一起，再进行下一阶段的预测。根据上述流程取得实时骨架定位信息。
而上述的行为及/或姿态辨识流程与手持物品辨识流程，请参照图4A以及图4B，并对照图3B或3C说明。请参照图4A，在此实施例中执行一行为/姿态辨识(Human PoseIdentification)模块，图4B例示五种常见的结账姿势。首先，根据取得的顾客影像410，在检测到身体的关键点后(如步骤S332)，以肩膀、手肘和手腕的关键点为模式以识别监测之人的行为(如步骤S334)，如图4A中的肩膀、手肘和手腕关键点线条412。而人体姿势识别后，提取图像中的候选区域414以检测手持物体。并且根据这样的架构，在此范围内，使用例如步骤416的YOLO算法作为物体检测器定位物体并识别物体类型的方法，以进行手掌/手持商品检测以及辨识(如步骤S336)。YOLO指的是“You Only Look Once”，可用于辨识物体，在一实施例中，使用YOLO模型对图片作一次CNN便能够判断里面的物体类别跟位置，可大幅提升辨识速度。在此实施范例中，透过YOLO算法作为定位物体并识别物体类型的方法，取得五种常见的结账行为的信心指数以及边界框的信息，而得到了行为及/或姿态辨识结果411。在YOLO算法中，将顾客影像410分割为多个边界框(bounding-box)，而每个边界框在顾客影像410的位置分别由两个坐标点(x1,y1)与(x2,y2)所界定，并且针对每一个边界框来计算是哪一种物体的机率。每个边界框都有五个预测参数，包括x,y,w,h,信心指数(Confidence)。(x,y)表示box中心的位移，而w,h为边界框长宽，可用坐标点(x1,y1)与(x2,y2)所界定。而信心指数(Confidence)含有对预测物体的信心程度以及此边界框中的物体的精准度。此步骤的可检测人们在使用自动结账系统时是否仍然持有商品。所识别的五种物体类型包括例如辨识结果R1的手机、R2的钱包、R3的手提包、R4的瓶子或是R5的罐装饮料，以便识别手持物品是否为商品。
在此实施例中，检测身体的关键点而取得人体姿态类别可以参照如图4B所示，以识别监测之人的结账行为并进行手持商品检测以及辨识。以顾客的影像420或是422为例，手持物体的边界框可以经由上述的行为/姿态辨识模块加以标注。骨架定位、行为及/或姿态辨识后，界定一范围(例如手部、手臂与身体交界处)为商品及/或手掌可能出现的区域，而根据肩膀、手肘和手腕关键点线条412以及图像中的候选区域414(虚线所标示区域)可以判断不同的姿态类别的手持商品检测。例如431到435可以分辨出人体姿态的类别，如姿态431的肩膀、手肘和手腕关键点线条412可以判断为一手持有物品的姿态，而在图像中的候选区域414(虚线所标示区域)可以判断是否持有物品，因此，姿态431就可以归类为“一手持有物品”之人体姿态类别。另外，姿态432则可归类为“两手持有物品”之人体姿态类别。姿态433的肩膀、手肘和手腕关键点线条412可以判断为一手持有物品而且夹另一物品在肩膀下的姿态，因此可归类为“一手持有物品且夹另一物品在一手的肩膀下”之人体姿态类别。姿态434的肩膀、手肘和手腕关键点线条412可以判断两只手都往下垂，因此可以归类为“两手放下”之人体姿态类别。或是姿态435的“其他姿势”等五种不同的姿态类别。识别监测之人的姿态类别后，可进行手持商品的检测以及辨识。
在本发明的一实施例中，透过手掌追踪与持有商品检测，排除如皮包、手机等个人物品，以便识别手持物品是否为商品。详细来说，在身体骨架检测后，取得身体骨架线条，辨识该身体骨架线条的中肩膀、手肘和手腕的多个节点，也就是手部、手臂与身体交界处，然后将身体骨架线条跟预设模型比对，取得手持物姿势类别，例如，请参考图4B的顾客的影像420中，影像420中的人物依照其身体骨架线条以及线条节点，跟一手持有并夹另一物品在一手的肩膀下的预设模型最为类似，因此判断顾客可能一手持有商品并夹另一物品在一手的肩膀下，再进行手持物品候选区域划定步骤，可使用行为与姿态辨识技术进行辨识，例如判断身体骨架线条的末端节点(代表手的位置)，进而划定右手候选区域的范围包括身体骨架线条的末端节点以及肩膀和手肘等会夹物的节点，左手区域的范围包括身体骨架线条的末端节点以及手腕节点。划定手持物品候选区域后，可在辨识是否有物品在手持物品候选区域中，在一实施例中，若判断有物品在手持物品候选区域中，可辨识在手持物品候选区域中的物品是否为商品。
请参照图5，是说明本发明内容实施例所提出计算机视觉商品辨识流程示意图。在此计算机视觉商品辨识流程至少包括商品影像特征辨识流程以及商品影像特征分析。而本实施例的商品辨识装置220，可以储存不同的应用程序或是可以透过网络存取装置与外部的服务器主机250或是云端数据库(未显示)进行通联存取所需要的数据或是软件程序。本实施例的商品辨识装置220运作所需的程序，包含例如商品物件切割程序、商品特征辨识程序、商品放置判断程序、商品面向判断程序、及/或商品相连检测程序部分或全部等。
在步骤S510中，商品辨识装置开始运作，透过影像采集装置222取得平台230上的影像。在步骤S520中，进行商品影像特征辨识流程。在一实施例中，处理器216将储存于存储装置的商品物件切割程序载入至存储器装置，并执行商品物件切割程序以对商品影像进行切割，辨识、采集商品影像特征，例如形状、颜色分布、文字、商标的位置或是内容。在一实施例中，平台230上置有复数个商品，因此采集的影像中包含复数个商品的影像，影像特征辨识流程可包括将复数个商品的影像进行切割；处理器216将储存于存储装置的商品物件切割程序载入至存储器装置，并执行商品物件切割程序以对取得的影像进行切割，找出各商品的影像。在一实施例中，商品物件切割流程例如从影像中以边缘检测方式切割出多个商品区域，以取得各商品影像。商品物件切割流程将于后述，并将配合图6A与6B进行说明。取得商品影像之后，根据此商品影像辨识商品影像特征，以进行后续比对分析。
辨识商品影像特征之后，根据这些特征进行商品影像特征分析流程，如步骤S530所示。在步骤S530中，将取得的商品影像特征，例如形状、颜色分布、文字、商标、条形码的位置或是内容等，与一特征数据库进行分析，以进行商品影像辨识，例如参照已经建立的特征数据库来分析顾客购买的商品的品项与数量。
在步骤S540中，进行商品辨识结果确认。在一实施例中，判断商品影像的商品与数据库的商品是否一致，例如，判断商品影像特征与特征数据库的商品的影像特征是否一致，若是一致，则判断商品影像的商品为特征数据库的商品，并进行到步骤S560，完成商品的辨识。在一实施例中，若是判断商品影像特征与特征数据库的商品的影像特征不一致，或是无法由商品影像特征判断是否为特征数据库中的商品，则进行到步骤S550，通知顾客调整平台上商品的位置，再回到步骤S510，采集平台上调整后的商品影像。在一实施例中，在步骤S540中，若是辨识出的商品有复数个，而其中一个商品无法由商品影像特征判断是否为特征数据库中的商品，则会进行到步骤S550。
以下以实施例详细说明步骤S520的商品影像特征辨识流程，在一实施例中，先对影像进行处理，例如对取得的商品物件影像进行切割，再采集出商品影像的特征。请参照图6A与6B，为分别说明本发明内容实施例所提出的商品物件影像切割流程示意图。图6A中，商品物件切割程序根据取得的影像610，以边缘检测方式切割出商品区域，根据调整影像中明度特征来增加背景与商品的对比，并且利用例如Sobel边缘检测(Sobel Edge Detection)方法找出商品边界，再以运行长度(Run Length)算法补强边界与抑制噪声，判断边界后，将商品区域分割出来。而参照图6B，透过将取得影像620的商品区域加以标示，则可计算商品区域的坐标，以取得存在商品影像的区域，进而根据商品影像的区域找出商品影像的特征。接着根据这些特征再进行步骤S530的商品影像特征分析流程。
而在步骤S530中，可以将取得的商品影像特征，参照已经建立的特征数据库来分析顾客购买的商品的品项与数量。图6C说明本发明实施例所提出的商品特征辨识示意图。在一实施例中，可以执行例如上述物件切割程序，取得商品影像特征。而后处理器216将储存于存储装置的商品特征辨识程序载入至存储器装置，并执行商品特征辨识程序，以使用深度学习或其他算法于该些商品区域之中检测多个特征，并根据该些特征，进行辨识取得多个商品辨识结果。在一实施例中，透过检测商品区域的特征，利用深度学习技术，执行商品旋转和影像视角辨识，从中采集高分辨率影像的整体(例如形状和颜色分布)，与细部特征(例如文字和商标)，以辨识顾客购买的商品。如图6C所表示的不同商品630到660。
在本发明的一实施例中，可在执行步骤S530的商品影像特征分析流程中，进行商品分类。处理器216将储存于存储装置的商品分类程序载入至存储器装置并执行商品的分类流程。请参照图7A，为说明本发明内容实施例所提出的商品的分类流程示意图。此分类流程包括步骤S710的分类结果信心值的设定步骤、步骤S720的辨识商品面向的步骤、以及步骤S730的商品相连检测步骤。
首先，在步骤S710中，先建立分类结果信心值，请参照图7B，为说明本发明内容实施例所建立分类结果信心值表的示意图。商品分类程序根据商品影像特征计算商品分类的分类结果信心值，例如根据商品影像特征，计算出可能为商品1的最高的3个分类结果信心值为0.956、0.022、0.017，可能为商品2的最高的3个分类结果信心值为0.672、0.256、0.043，以建立如图7B所示的分类结果信心值表，并以分类结果信心值判定是否具有可信度，例如判断分类结果信心值(Confidence Value)是否大于阀值，若大于阀值，则具有可信度，以图7B为例，若是阀值为0.7，则由于可能为商品1的最高的分类结果信心值为0.956，则判断商品影像特征为商品1。在一实施例中，当分类结果信心值具有可信度或可根据分类结果信心值判断出商品时，则不需再进行步骤S720。若分类结果信心值是小于阀值，则进行步骤S720。
步骤S720中，进行辨识商品面向，在本发明的一实施例中，可在执行完商品特征辨识程序后，处理器将储存于存储装置的商品放置判断程序载入至存储器装置并执行。商品放置判断程序用以判断放在平台的物件是否为商品、放在平台的商品的朝上的面是否为特征较少的面或是商品是否以能被平台的影像采集单元拍摄到清楚特征的方式放置。
请参照图7C，为说明本发明内容实施例所提出的商品面向判断流程判断商品的面向的示意图。请参照图7A的步骤S720与图7C，商品面向判断程序可判断放在平台的商品的面向，例如利用深度学习技术进行影像辨识，判别采集的商品影像是否为特征较少的面，例如利乐包正上方722、利乐包底部724或是宝特瓶瓶盖面726等。若是判断商品影像的朝上面的特征数目不足或是太少时，即判断为特征较少面，难以辨识出是何商品。在一实施例中，当判断为特征较少面时，也就是特征数目不足，可通知顾客调整商品摆放的面向，而不一定需要执行步骤S730。
请参照图7D，为说明本发明内容实施例所提出的商品相连检测的示意图。请同时参照图7A及图7D，以图7D饮料瓶732为例，可在执行完商品面向判断程序后，若判断商品朝上面的特征数目足以辨识，则可判断商品是平躺在平台上。接着处理器将储存于存储装置的商品相连检测程序载入至存储器装置并执行，以进行步骤S730的商品相连检测步骤。商品相连检测程序用以透过商品长宽比检测是否数个商品相连或相叠的情形，例如，若是正常(或数据库)的罐装饮料的长宽比为2:1，当辨识出是平躺的罐装饮料，并检测出该罐装饮料的长宽比为1:1时，则可判断罐装饮料与另一商品相连，在一实施例中，可发出提示信息，告知顾客需调整商品位置。
请参照图7E，为说明本发明内容在一实施例中所提出的提示顾客调整商品摆设方式的示意图。在此实施例中，可以透过投影机投射“请将商品放置于平台”的提示，也可用语音、屏幕文字等提示，要求顾客将商品放置于平台，再重新执行商品辨识程序。提示信息可以采用声音、图形、颜色、文字、条形码等提示内容提醒顾客。
在另一实施范例中，提示顾客调整商品摆设方式的提示信息，利用投影机对平台740投射不同颜色的标示，例如针对商品734投射有别于平台740其他区域的第一种颜色的光线而产生第一颜色区域742。也可同时对另外一个商品722与726投射由别于平台740其他区域以及第一种颜色的第二种颜色的光线而产生第二颜色区域744。如此将可让顾客清楚的知道哪些商品摆设需要调整。除此实施例之外，提示顾客需调整商品摆放位置的信息也可以透过例如投影机投射“请将商品翻面、分离”的提示，也可用语音、屏幕文字等提示，要求顾客将商品翻面或分离，之后再重新执行商品辨识程序。而提示信息可以采用声音、图形、颜色、文字等提示内容提醒顾客。
综上所述，本发明内容提出一种透过计算机视觉与深度学习检测商品区域特征，辨识顾客购买商品的品项与数量。若摄影机视角内的商品未显示足够的商品特征，可藉由声音、图形、颜色、文字等提示提醒顾客将商品翻面、分离。在异常结帐行为检测上，透过实时骨架定位，以肩膀，手肘和手腕的节点为模式以识别监测之人的结账行为，并进行手持物检测，并藉由声音、图形、颜色、文字等提示提醒顾客将商品放置于平台后再重复进行商品辨识步骤。
本发明内容提出一种自助结帐系统及其方法，包括商品辨识以及判断顾客异常行为的功能。自助结帐系统包括商品辨识功能以及顾客异常行为检测功能。商品辨识功能用以对商品进行辨识，其中包括用以检测商品在平台上的摆放方式是否正确，并且确认是否可以完成辨识。顾客异常行为检测功能用以针对顾客是否有异常结帐行为进行检测。
本发明内容提出的自助结帐系统及其方法，可以实时辨识顾客购买品项、数量，结合行动支付实现自助结帐，并可降低偷窃率。基于上述，此自助结帐系统与方法能辨识顾客购买商品的品项与数量，尤其是辨识商品摆放方式是否能在摄影机视角内显示足够的商品特征，并提示顾客将商品翻面或分离后以完成商品的辨识。除此之外，本发明还可辨识异常结帐行为，进行骨架、行为模式辨识与持有商品检测，可排除如皮包、手机等个人物品后，判断顾客是否手上仍持有商品。
虽然本发明以上述实施例公开，但具体实施例仅用以解释本发明，并不用于限定本发明，任何本技术领域技术人员，在不脱离本发明的构思和范围内，可作一些的变更和完善，故本发明的权利保护范围以权利要求书为准。

Claims (36)

1.一种自助结帐系统，其特征在于，包括：
平台，经配置用以放置至少一个商品；
商品辨识装置，经配置用以对放置在该平台上的该至少一个商品进行商品辨识；以及
顾客异常行为检测装置，经配置用以根据在该平台前取得的顾客影像进行异常结帐行为检测，以取得异常行为检测结果，其中，当判断该异常行为检测结果为异常行为时，发出异常行为通知，据以调整该异常行为。
2.如权利要求1所述的自助结帐系统，其特征在于，该顾客异常行为检测装置包括:
至少一个影像采集单元，用以取得该顾客影像；以及
处理器，经配置用以对该顾客影像进行该异常结帐行为检测，以取得该异常行为检测结果，
其中该异常结帐行为检测包括进行姿态辨识流程，以确认该顾客影像中的结账姿势，而后根据该结账姿势，对一区域进行手持物品辨识流程以取得该异常行为检测结果。
3.如权利要求2所述的自助结帐系统，其特征在于，该顾客异常行为检测装置的该处理器经配置用以进行该姿态辨识流程之前，先对该顾客影像进行实时骨架定位流程，以取得该顾客影像中的该顾客的骨架定位信息，以进行该姿态辨识流程。
4.如权利要求3所述的自助结帐系统，其特征在于，该处理器经配置用以从该顾客影像取得该顾客的身体骨架线条，将该身体骨架线条与预设模型比对，以取得该骨架定位信息。
5.如权利要求2所述的自助结帐系统，其特征在于，该顾客异常行为检测装置的该处理器经配置用以根据取得该顾客影像中的多个关键点，以及将该些关键点所形成的关键点线条与该预设模型进行比对，以取得对应该顾客的该结账姿势。
6.如权利要求5所述的自助结帐系统，其特征在于，该顾客异常行为检测装置的该处理器还根据该结账姿势取得人体姿态类别，并用以判断手持物品候选区域的位置和范围，以进行该手持物品辨识流程。
7.如权利要求1所述的自助结帐系统，其特征在于，该商品辨识装置对放置在该平台上的该至少一个商品进行该商品辨识以取得辨识结果，其中当无法取得该辨识结果时，发出提示通知，以调整该至少一个商品在该平台的放置方式。
8.如权利要求1所述的自助结帐系统，其特征在于，该商品辨识装置透过摄影机辨识该顾客影像的顾客手势以开始进行该商品辨识，或透过红外线、超音波或微波检测判断顾客是否靠近该平台以开始进行该商品辨识。
9.如权利要求1所述的自助结帐系统，其特征在于，该商品辨识装置经配置用以投影编号于该至少一个商品上。
10.如权利要求7所述的自助结帐系统，其特征在于，该商品辨识装置包括：
影像采集单元，取得放置在该平台上的该至少一个商品的平台影像；
处理器，对该平台影像进行该商品辨识，取得对应于该至少一个商品的多个特征，并根据该些特征与商品特征数据库进行比对取得该辨识结果。
11.如权利要求10所述的自助结帐系统，其特征在于，该商品辨识装置的该处理器经配置用以对于该平台影像进行该商品辨识，取得对应于该至少一个商品的该些特征以进行比对取得该辨识结果时，若该些特征数量不足以进行判断，则发出该提示通知以调整该至少一个商品在该平台的放置方式。
12.如权利要求11所述的自助结帐系统，其特征在于，该商品辨识装置的该处理器经配置用以对该平台影像中以边缘检测切割出多个商品区域，并且于该些商品区域之中检测该至少一个商品的该些特征，并辨识该至少一个商品的该些特征。
13.如权利要求12所述的自助结帐系统，其特征在于，该商品辨识装置的该处理器经配置用以对于该平台影像进行该商品辨识，是根据在该商品区域中的影像与该商品特征数据库进行比对，而得到对应的分类结果信心度，判断是否该分类结果信心度大于阀值而认定是否取得该辨识结果。
14.一种自助结帐方法，其特征在于，包括：
对放置在平台上的至少一个商品进行商品辨识；
取得顾客影像；以及
根据该顾客影像进行异常结帐行为检测，并根据该顾客影像取得异常行为检测结果，其中
当判断该异常行为检测结果为异常行为时，发出异常行为通知，据以调整该异常行为。
15.如权利要求14所述的自助结帐方法，其特征在于，该异常结帐行为检测包括进行姿态辨识流程，以确认该顾客影像中的结账姿势，而后根据该结账姿势对一区域进行手持物品辨识流程，以取得该异常行为检测结果。
16.如权利要求15所述的自助结帐方法，其特征在于，该姿态辨识流程之前，先对该顾客影像进行实时骨架定位流程，以取得该顾客影像中的该顾客的骨架定位信息，以便据以进行该姿态辨识流程。
17.如权利要求16所述的自助结帐方法，其特征在于，该实时骨架定位流程从该顾客影像取得该顾客的身体骨架线条，将该身体骨架线条与预设模型比对，以取得该骨架定位信息。
18.如权利要求15所述的自助结帐方法，其特征在于，该手持物品辨识流程包括根据取得该顾客影像中的多个关键点，以及将该些关键点所形成的关键点线条与该预设模型进行比对，以取得对应该顾客的该结账姿势。
19.如权利要求18所述的自助结帐方法，其特征在于，还根据该结账姿势判断手持物品候选区域的位置和范围，以进行该手持物品辨识流程。
20.如权利要求14所述的自助结帐方法，其特征在于，还包括取得在该平台上的该至少一个商品的平台影像，根据该平台影像取得辨识结果，当无法取得该辨识结果时，发出提示通知，以调整该至少一个商品的放置方式。
21.如权利要求14所述的自助结帐方法，其特征在于，还包括透过辨识该顾客影像的顾客手势以启动开始进行该商品辨识或透过红外线、超音波或微波检测判断顾客是否靠近该平台以开始进行该商品辨识。
22.如权利要求14所述的自助结帐方法，其特征在于，还包括投影编号于该至少一个商品上。
23.如权利要求20所述的自助结帐方法，其特征在于，该商品辨识包括根据该平台影像取得对应于该至少一个商品的多个特征，并根据该些特征与商品特征数据库进行比对取得该辨识结果。
24.如权利要求23所述的自助结帐方法，其特征在于，对该平台影像进行该商品辨识，取得对应于该至少一个商品的该些特征，以进行比对取得该辨识结果时，若该些特征数量不足以进行判断，则发出该提示通知以调整该至少一个商品在该平台的放置方式。
25.如权利要求24所述的自助结帐方法，其特征在于，对该平台影像进行该商品辨识而取得对应于该至少一个商品的该些特征包括对该平台影像中以边缘检测切割出多个商品区域，并且于该些商品区域之中检测该至少一个商品的该些特征，并辨识该至少一个商品的该些特征。
26.如权利要求25所述的自助结帐方法，其特征在于，对该平台影像进行该商品辨识时，取得该些特征的数量是根据该平台影像切割出来的该些商品区域的影像与该商品特征数据库进行比对，而得到对应的分类结果信心度，判断是否大于阀值而认定是否取得该辨识结果。
27.一种自助结帐装置，其特征在于，包括：
平台，经配置用以放置至少一个商品；
影像采集装置，用以取得平台影像及顾客影像；以及
处理器，经配置用以对放置在该平台上的该至少一个商品进行商品辨识流程或异常结帐行为检测流程，
其中该商品辨识流程包括根据该平台影像取得辨识结果，其中当无法取得该辨识结果时，发出提示通知，以调整该至少一个商品在该平台的放置方式，
其中该异常结帐行为检测流程根据在该顾客影像进行异常结帐行为检测，以取得异常行为检测结果，其中，当该异常行为检测结果确认为异常行为时，发出异常行为通知，据以调整该异常行为。
28.如权利要求27所述的自助结帐装置，其特征在于，该处理器经配置用以对该平台影像进行该商品辨识，取得对应于该至少一个商品的多个特征，并根据该些特征与商品特征数据库进行比对取得该辨识结果。
29.如权利要求28所述的自助结帐装置，其特征在于，该处理器经配置用以对该平台影像进行该商品辨识，取得对应于该至少一个商品的该些特征数量进行比对取得该辨识结果时，若该些特征数量不足以进行判断，则发出该提示通知以调整该至少一个商品在该平台的放置方式。
30.如权利要求29所述的自助结帐装置，其特征在于，该理器经配置用以对该平台影像进行该商品辨识而取得对应于该至少一个商品的该些特征包括对该平台影像中以边缘检测切割出多个商品区域，并且于该些商品区域之中检测该至少一个商品的该些特征，并进行辨识取得该至少一个商品的该些特征。
31.如权利要求30所述的自助结帐装置，其特征在于，该处理器经配置用以对该平台影像进行该商品辨识时，取得该些特征的数量是根据切割出来的该些商品区域的影像与该商品特征数据库进行比对，而得到对应的分类结果信心度，判断是否大于阀值而认定是否取得该辨识结果。
32.如权利要求27所述的自助结帐装置，其特征在于，该处理器经配置用以对该顾客影像进行该异常结帐行为检测，以取得该异常行为检测结果，其中该异常结帐行为检测包括进行姿态辨识流程，以确认该顾客影像中的结账姿势，而后根据该结账姿势对一区域进行手持物品辨识流程，以取得该异常行为检测结果。
33.如权利要求32所述的自助结帐装置，其特征在于，该处理器经配置用以进行该姿态辨识流程之前，先对该顾客影像进行实时骨架定位流程，以取得该顾客影像中的该顾客的骨架定位信息，以便据以进行该姿态辨识流程。
34.如权利要求33所述的自助结帐装置，其特征在于，该处理器经配置用以从该顾客影像取得该顾客的身体骨架线条，将该身体骨架线条与预设模型比对，以取得该骨架定位信息。
35.如权利要求34所述的自助结帐装置，其特征在于，该处理器经配置用以根据取得该顾客影像中的多个关键点，以及将该些关键点所形成的关键点线条与该预设模型进行比对，以取得对应该顾客的该结账姿势。
36.如权利要求35所述的自助结帐装置，其特征在于，该处理器经配置用以进行该手持物品辨识流程还包括根据该结账姿势取得人体姿态类别，并用以判断手持物品候选区域的位置和范围，以进行该手持物品辨识流程。
CN201811608775.1A 2018-06-01 2018-12-27 自助结帐系统、方法与装置 Withdrawn CN110555356A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862679036P 2018-06-01 2018-06-01
US62/679,036 2018-06-01
TW107146687 2018-12-22
TW107146687A TWI773863B (zh) 2018-06-01 2018-12-22 自助結帳系統、方法與裝置

Publications (1)

Publication Number Publication Date
CN110555356A true CN110555356A (zh) 2019-12-10

Family

ID=68692712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811608775.1A Withdrawn CN110555356A (zh) 2018-06-01 2018-12-27 自助结帐系统、方法与装置

Country Status (2)

Country Link
US (1) US20190371134A1 (zh)
CN (1) CN110555356A (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551287B2 (en) * 2013-10-17 2023-01-10 Mashgin Inc. Automated object recognition kiosk for retail checkouts
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
CN109271847B (zh) * 2018-08-01 2023-04-07 创新先进技术有限公司 无人结算场景中异常检测方法、装置及设备
US11429842B2 (en) * 2019-02-24 2022-08-30 Microsoft Technology Licensing, Llc Neural network for skeletons from input images
JP7408300B2 (ja) * 2019-06-04 2024-01-05 東芝テック株式会社 店舗管理装置、電子レシートシステム及び制御プログラム
CN111352990A (zh) * 2020-02-14 2020-06-30 深圳壹账通智能科技有限公司 报告的生成管理方法、装置、计算机设备和存储介质
CN113269013B (zh) * 2020-02-17 2024-06-07 京东方科技集团股份有限公司 对象行为分析方法、信息显示方法及电子设备
CN112257487A (zh) * 2020-05-29 2021-01-22 北京沃东天骏信息技术有限公司 识别方法、设备、安防系统及存储介质
JP7360997B2 (ja) * 2020-06-18 2023-10-13 京セラ株式会社 情報処理システム、情報処理装置、および情報処理方法
TWI806006B (zh) * 2021-02-20 2023-06-21 緯創資通股份有限公司 熱影像定位方法及其系統
JP2023077805A (ja) * 2021-11-25 2023-06-06 東芝テック株式会社 決済者監視装置及びそのプログラム、決済者監視方法
WO2024028695A1 (en) * 2022-08-03 2024-02-08 Everseen Limited Self-checkout device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794830A (zh) * 2015-03-31 2015-07-22 广西智通节能环保科技有限公司 一种自助购物结账装置及自助购物结账方法
CN106781121A (zh) * 2016-12-14 2017-05-31 朱明� 基于视觉分析的超市自助结账智能系统
JP2017146854A (ja) * 2016-02-18 2017-08-24 富士通フロンテック株式会社 セルフチェックアウト装置、セルフチェックアウト方法およびセルフチェックアウトプログラム
CN107393228A (zh) * 2016-04-28 2017-11-24 东芝泰格有限公司 监视装置及其控制方法、终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794830A (zh) * 2015-03-31 2015-07-22 广西智通节能环保科技有限公司 一种自助购物结账装置及自助购物结账方法
JP2017146854A (ja) * 2016-02-18 2017-08-24 富士通フロンテック株式会社 セルフチェックアウト装置、セルフチェックアウト方法およびセルフチェックアウトプログラム
CN107393228A (zh) * 2016-04-28 2017-11-24 东芝泰格有限公司 监视装置及其控制方法、终端设备
CN106781121A (zh) * 2016-12-14 2017-05-31 朱明� 基于视觉分析的超市自助结账智能系统

Also Published As

Publication number Publication date
US20190371134A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
CN110555356A (zh) 自助结帐系统、方法与装置
US10807627B2 (en) Physical shopping cart having features for use in customer checkout of items placed into the shopping cart
RU2727084C1 (ru) Устройство и способ определения информации о заказе
US10290031B2 (en) Method and system for automated retail checkout using context recognition
US20190220692A1 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
KR20200037833A (ko) 영상 모니터링에 기반하는 물품 감지 시스템 및 물품 감지 방법
US11941629B2 (en) Electronic device for automated user identification
CN108229324A (zh) 手势追踪方法和装置、电子设备、计算机存储介质
CN110050284A (zh) 一种自动店内登记系统
US20210398097A1 (en) Method, a device and a system for checkout
US20190337549A1 (en) Systems and methods for transactions at a shopping cart
CN109002780B (zh) 一种购物流程控制方法、装置和用户终端
WO2018002864A2 (en) Shopping cart-integrated system and method for automatic identification of products
US11270102B2 (en) Electronic device for automated user identification
US20230037427A1 (en) Identifying barcode-to-product mismatches using point of sale devices and overhead cameras
US9076157B2 (en) Camera time out feature for customer product scanning device
CN111222870A (zh) 结算方法、装置和系统
TWI773863B (zh) 自助結帳系統、方法與裝置
JP2019174959A (ja) 商品棚位置登録プログラム、及び情報処理装置
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN113624314B (zh) 称重处理方法、装置及称重设备
US20240169735A1 (en) System and method for preventing shrinkage in a retail environment using real time camera feeds
CN112154488A (zh) 信息处理装置、控制方法和程序
US20230169452A1 (en) System Configuration for Learning and Recognizing Packaging Associated with a Product
JP7339630B1 (ja) 情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191210