JP2022039553A - 情報処理システム、情報処理装置、情報処理方法 - Google Patents

情報処理システム、情報処理装置、情報処理方法 Download PDF

Info

Publication number
JP2022039553A
JP2022039553A JP2020144647A JP2020144647A JP2022039553A JP 2022039553 A JP2022039553 A JP 2022039553A JP 2020144647 A JP2020144647 A JP 2020144647A JP 2020144647 A JP2020144647 A JP 2020144647A JP 2022039553 A JP2022039553 A JP 2022039553A
Authority
JP
Japan
Prior art keywords
unit
image pickup
image
information processing
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020144647A
Other languages
English (en)
Inventor
俊 菅原
Takashi Sugawara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2020144647A priority Critical patent/JP2022039553A/ja
Priority to US18/042,983 priority patent/US20230316757A1/en
Priority to CN202180053029.4A priority patent/CN115989532A/zh
Priority to PCT/JP2021/030874 priority patent/WO2022045085A1/ja
Publication of JP2022039553A publication Critical patent/JP2022039553A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Signal Processing (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ユーザが手動で逐次撮像対象をスキャンすることなく、撮像対象の種別の特定を行うこと。【解決手段】情報処理システムは、撮像部と、ゲート部と、制御部とを備える。撮像部は、撮像対象を多面的に撮像して撮像画像を生成する。ゲート部は、撮像部を備え、撮像対象がゲート部を通過する。制御部は、撮像画像から撮像対象の任意の領域を抽出し、任意の領域に基づいて撮像対象を特定する。【選択図】図2

Description

本発明は、情報処理システム、情報処理装置及び情報処理方法に関するものである。
小売業での購買商品の精算において、例えば特許文献1では、商品が買い物かごから取り出されてから収納袋に入れられるまでを追跡し、商品が適切にスキャンされたか否かを判断する発明が開示されている。
特開2011-54038
この開示に係る発明では、商品の特定のためにユーザ(購買者)が手動で逐次撮像対象(商品)のバーコード等をスキャンして撮像対象の種別を特定する必要があり、この点において改善の余地がある。
従って、上記の点に鑑みてなされた本開示の目的は、ユーザが手動で逐次撮像対象をスキャンすることなく、撮像対象の種別の特定を行うことにある。
上述した目的を達成するため、本開示の一側面である情報処理システムは、撮像対象を多面的に撮像して撮像画像を生成する撮像部と、前記撮像部を備え、前記撮像対象が通過するゲート部と、前記撮像画像から前記撮像対象の任意の領域を抽出し、前記任意の領域に基づいて前記撮像対象を特定する制御部とを備えることを含む。
また、本開示の一側面である情報処理装置は、撮像対象を多面的に撮像する撮像部と、前記撮像部を備え、前記撮像対象が通過するゲート部と、前記撮像部の撮像画像から前記撮像対象の任意の領域を抽出し、前記任意の領域に基づいて前記撮像対象を特定する制御部とを備えることを含む。
また、本開示の一側面である情報処理方法は、ゲート部に備えられた撮像部が、前記ゲート部を通過する撮像対象を多面的に撮像し、前記撮像部の撮像画像から前記撮像対象の任意の領域を抽出し、前記任意の領域に基づいて前記撮像対象を特定することを含む。
上記のように構成された本開示によれば、ユーザが手動で逐次撮像対象をスキャンすることなく、撮像対象の種別の特定を行うことが可能になる。
図1は、本開示に係る情報処理システムの実施形態の一例での構成を示す機能ブロック図である。 図2は、本開示に係る情報処理装置の実施形態の一例における外観図である。 図3は、本開示に係る情報処理システム及び情報処理装置の実施形態の一例にて撮像部が撮像する画像のイメージ図である。 図4は、本開示に係る情報処理方法の実施形態の一例におけるフローチャート図である。 図5は、本開示に係る情報処理方法の実施形態の、図4で示した例とは異なる一例における情報処理方法のフローチャート図である。 図6は、本開示に係る情報処理装置の、他の一例における外観図である。 図7は、本開示に係る情報処理装置を搬送路上に載せられた撮像対象の種別または固体の判別に用いた場合の外観図である。
以下、本開示を適用した情報処理システムの実施形態の一例について、図面を参照して説明する。
図1は、本開示に係る情報処理システムの一実施形態における機能ブロック図である。
図2は、本開示に係る情報処理システム及び情報処理装置の一実施形態における外観図である。なお、外観図では本開示に係る情報処理システム及び情報処理装置の物理的構成(ハード構成)を図示している。
図1に示すように、本開示に係る情報処理システムは、検出部1、制御部2、ゲート部3、撮像部4、収容部5、データベース6及び提示部7を含んで構成される。ただし、収容部5及び提示部7については情報処理システムの構成要件に必ずしも含まれなくてもよい。また、図2に示すように、本開示に係る情報処理システム及び情報処理装置は、物理的構成要素として、検出部1、ゲート部3、撮像部4、収容部5及び提示部7を含んで構成される。ただし、段落[0023]にて後述するように、収容部5が脱着可能なカゴまたは袋である場合、情報処理システムの物理的構成要素は必ずしも恒常的に収容部5を含む必要はない。また、段落[0037]にて後述するように、制御部2及びデータベース6は、必ずしも同一装置内に含まれる必要はなく、遠隔に設置され、有線通信または無線通信で情報処理装置と接続してもよい。
以後の図において、各機能ブロックを結ぶ実線の矢印は、制御信号(検出信号、撮像信号及び提示信号など)または通信される情報の流れを示す。矢印が示す通信は有線通信であってもよいし、無線通信であってもよいし、両者の組合せであってもよい。無線によって通信が行われる場合、情報処理システムは、例えばBluetooth(登録商標)またはIEEE802.11を含む各種通信規格に準拠する無線通信を行うための通信部を備える。無線通信は、光通信であってもよい。
検出部1は、撮像対象Tがゲート部3の内部に投入されたか否かを判定する。撮像対象Tが撮像部4に向けて移動していると判断される場合、検出部1は、上記判断を意味する検出信号を制御部2に送信する。
検出部1は、例えば光電センサ、ファイバセンサ、レーザセンサ、超音波センサまたは画像センサであってもよい。光電センサ、ファイバセンサまたはレーザセンサを検出部1として用いる場合、検出部1は投光器と受光器または投受光器を含んでもよい。超音波センサを検出部1として用いる場合、検出部1は超音波素子を含んでもよい。画像センサを検出部1として用いる場合、検出部1は撮像光学系及び撮像素子を含んでもよい。撮像光学系は、例えば1個以上のレンズ及び絞りなどの光学部材を含んでもよい。撮像素子は例えば、CCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどを含んでもよい。また、画像センサは任意のフレームレートで連続的に静止画(動画)を撮像してもよい。また、検出部1は1つ以上の個数のセンサ
によって構成されてもよく、1つ以上の種類のセンサを組み合わせて構成されてもよい。例えば図2に示す実施形態の一例では、投光部と受光部がゲート部3の上面(ユーザが撮像対象Tを投入する面)に備えられている。
制御部2は、検出部1から検出信号を受信した場合、撮像部4に撮像信号を送信する。また、制御部2は、撮像部4から撮像画像を受信した場合、撮像画像から任意の領域を抽出し、データベース6を参照しつつ画像認識処理によって撮像対象Tを特定する。任意の領域とは、例えば撮像対象Tの識別子Tmまたは撮像対象Tが映し出された撮像領域である。撮像対象Tの識別子Tmとは、例えばバーコードまたはQRコード(登録商標)である。撮像対象Tの画像認識処理による特定手段は、例えば撮像画像に写った撮像対象Tの識別子Tmの認識であってもよいし、パターンマッチングまたは機械学習を用いての特定物体認識によるものであってもよい。制御部2は、撮像部4から撮像画像を複数枚受信した場合、所定の条件を満たす1枚以上の撮像画像を選定して、選定した撮像画像に対して画像認識処理を行ってもよい。所定の条件とは、例えば識別子Tmが明瞭に映し出されているか(制御部2が識別子Tmを認識可能であるか)であってもよいし、特定物体認識を行った際に併せて算出可能である認識結果の信頼度(確信度)が予め定めた閾値を満たしているかであってもよい。また、識別子Tmが複数枚の撮像画像に跨って撮像された場合、制御部2は複数枚の撮像画像からそれぞれ部分的に撮像された識別子Tmの領域を抽出してもよい。制御部2は、識別子Tmが跨った複数枚の撮像画像に対して画像合成またはSfM(Structure from Motion)等の画像処理技術を用いて撮像対象Tを特定できるようにしてもよい。
制御部2は、特定した撮像対象Tを登録対象データとして記録してもよい。
制御部2は、特定し、記録した1つ以上の撮像対象Tに基づく請求金額の算出または撮像対象Tの特定可否を判定し、提示部7に提示信号を送信してもよい。撮像対象Tの特定可否とは、撮像対象Tの特定に成功したか失敗したかを意味する。提示部7は請求金額をユーザに提示して支払いを要求してもよいし、撮像対象Tの特定可否を提示してユーザに通知してもよい。
制御部2は、先述した処理等を実行するプログラム及び登録対象データを格納する記録部も含んで構成されてもよい。
制御部2は、1つ以上のプロセッサ及びメモリを含んで構成される。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ及び特定の処理に特化した専用のプロセッサを含んでもよい。汎用のプロセッサは、CPU(Central Processing Unit)またはGPU(Graphics Processing Unit)を含んでもよい。専用のプロセッサは、特定用途向けIC(ASIC:Application Specific Integrated Circuit)を含んでもよい。プロセッサは、PLD(Programmable Logic Device)を含んでもよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでもよい。制御部2は、1つ又は複数のプロセッサが協働するSoC(System-on-a-Chip)及びSiP(System In a Package)の何れかであってもよい。メモリは、例えば半導体メモリ、磁気メモリ、及び光メモリ等の何れか一つ以上を含んでもよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープ等を含んでもよい。光メモリは、例えばCD(Compact Disc)、DVD(Digital Versatile Disc)及びBD(Blu-ray(登録商標) Disc)等を含んでもよい。
ゲート部3は、撮像対象Tを投入するために設置される。即ち、ユーザはゲート部3に商品(撮像対象T)を投入する。ゲート部3は、撮像部4を備える。
ゲート部3は、例えば筒状であり、内部に空洞を有する形状であってもよく、この場合、ゲート部3の空洞入り口に検出部1を、空洞内に撮像部4を備えてもよい。また、ゲート部3は、これを支持するための支持部8を備えてもよい。支持部8は、例えば片持ち形状、両持ち形状、または宙づり形状などであってもよいし、その他の形状であってもよい。例えば図2に示す実施形態の一例では、支持部8はゲート部3を両持ち構造で支持し、接地面Uに設置されている。
撮像部4は、制御部2から撮像信号を受信した場合、撮像対象Tを多面的に撮像して撮像画像を生成する。即ち、撮像部4はゲート部3に投入された撮像対象Tを多面的に撮像する撮像部4が撮像する多面的な画像とは、例えば撮像対象Tのゲート部3の内面に面する全周囲画像である。撮像部4が撮像し、生成した撮像画像は制御部2に送信される。また、撮像部4は、ゲート部3に投入された撮像対象Tを多面的に撮像できるように複数個備える形態であってもよい。また、撮像部4は、魚眼カメラまたは全周囲カメラを含んでもよい。また、撮像部4が生成する撮像画像は1枚のみではなく、複数枚であってもよい。
撮像部4は、例えば1個以上のレンズ及び絞りなどの光学部材を含んでもよい。撮像素子は例えば、CCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどを含んでもよい。また、撮像部4は任意のフレームレートで連続的に静止画を撮像してもよい。連続的に静止画を撮像するということは、動画を撮像すると換言できる。例えば図2に示す実施形態の一例では、撮像部4はゲート部3の空洞の内面に、撮像対象Tを多面的に撮像できるように4個備えられている。
検出部1が撮像光学系及び撮像素子を含んで構成される場合、撮像部4は検出部1と一体となって構成されてもよい。即ち、検出部1と撮像部4は、同一の撮像光学系及び撮像素子を用いてもよい。
図3は、撮像部4が撮像対象Tを撮像し、生成した撮像画像のイメージ図である。
例えば、ゲート部3に撮像部4が4個備えられている場合、図4に示すように4枚の撮像画像が生成される。
この場合、生成された4枚の撮像画像の中で撮像対象Tの識別子Tmが明瞭に映し出されている画像はPic.2である。
制御部2は4枚の撮像画像に対して画像認識処理を実行し、その中で識別子Tmが明瞭に映し出されたPic.2の撮像画像を選定する。制御部2は、選定したPic.2の撮像画像を用いて撮像対象Tを特定する。
収容部5は、ゲート部3を通過した撮像対象Tを収容する。即ち、ユーザはゲート部3を介して撮像対象Tを収容部5に投入する。
収容部5は、例えば脱着可能なカゴまたは袋に代表される容器であってもよい。収容部5は、ゲート部3の下面(接地面U側)に備えられてもよい。なお、収容部5について、ユーザが手動でゲート部3の下面に固定してもよいし、情報処理システムが自動でゲート部3の下面に固定してもよい。例えば図2に示す実施形態の一例では、ゲート部3と接地
面Uとの間に一定の空間を確保し、この空間内に収容部5を置く形態となっている。
データベース6は、撮像対象Tに関する関連情報を記録する。関連情報とは、例えば商品名、値段、商品画像及び識別子Tmであってもよい。
データベース6は、1つ以上のメモリを含んで構成される。メモリは、例えば半導体メモリ、磁気メモリ及び光メモリ等の何れか一つ以上を含んでもよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープ等を含んでもよい。光メモリは、例えばCD(Compact Disc)、DVD(Digital Versatile Disc)及びBD(Blu-ray(登録商標) Disc)等を含んでもよい。
提示部7は、制御部2による撮像対象Tの特定処理に関連する情報の提示を行う。例えば制御部2が特定した撮像対象Tの商品名、値段または個数の何れかを提示してもよい。また、制御部2が特定した1つ以上の撮像対象Tの商品名リスト、値段の合算値または個数の合算値の何れかを提示してもよい。また、撮像対象Tの特定に失敗した場合、エラーを提示してユーザに撮像対象Tの再投入または情報処理システムに別途コードスキャナを備え、コードスキャナによる撮像対象Tの再特定を促してもよい。コードスキャナは、例えばCCD方式、レーザー方式またはペン方式等を含むコードスキャン方式に基づくものであってもよい。
提示部7は、例えばディスプレイ、スピーカ、モータまたは発光装置の少なくとも何れかであってもよく、またこれらの少なくとも2種類以上の組合せであってもよい。発光装置は、ハロゲンランプ、LED(Light Emitting Diode)ランプまたはEL(Electro Luminescence)ランプなどであってもよい。提示部7は、ディスプレイを介して画像情報を表示してもよい。提示部7は、スピーカを介して音声を出力してもよい。提示部7は、モータを振動させてもよい。提示部7は、発光装置を発光させてもよい。
なお、図2において、制御部2及びデータベース6は図示されていないが、必ずしもこれらが同一の情報処理装置内に含まれる必要はない。例えば、情報処理システムは別途1個以上の演算部を備え、演算部は制御部2及びデータベース6を備える形態であってもよく、情報処理システムの同一の情報処理装置内に含まれる検出部1及び撮像部4と演算部に含まれる制御部2及びデータベース6とで通信を行ってもよい。演算部とは、例えばコンピュータ、サーバまたはクラウドサービスなどであってもよく、これらの組合せであってもよい。また、提示部7は図2には一体構成された検出部1、ゲート部3及び撮像部4とは別個に備えられているが、例えばゲート部3の外面(空洞内部の反対面)に埋め込む形であってもよい。
次に、図4を用いて本開示に係る情報処理システムの撮像及び認識処理フローを説明する。
図4は、情報処理システムの撮像及び認識処理のフローチャート図である。
<S01>検出部1が撮像対象Tを検出する。そして、検出部1は制御部2に検出信号を送信する。その後、<S02>に移行する。
<S02>制御部2が検出信号を受信した後、制御部2は撮像信号を撮像部4に送信する。その後、撮像信号を受信した撮像部4は、検出対象の撮像し、撮像画像を生成する。その後、撮像部4は、撮像画像を制御部2に送信する。その後、<S03>に移行する。
<S03>制御部2が撮像部4から撮像画像を受信した後、制御部2は、撮像画像に対して画像認識処理を実行し、撮像対象Tの識別子Tmの抽出を試みる。制御部2が撮像対象Tの識別子Tmの抽出に成功した場合、<S04>に移行する。制御部2が撮像対象Tの識別子Tmの抽出に失敗した場合、<S06>に移行する。
<S04>制御部2が撮像対象Tの識別子Tmの抽出に成功した場合、制御部2は抽出した識別子Tmに基づいて撮像対象Tを特定する。その後、<S05>に移行する。
<S05>制御部2が撮像対象Tを特定した後、制御部2は、特定した撮像対象Tを登録対象として記録する。記録先は、例えば制御部2に含まれる記録部である。その後、処理を終了する。
<S06>制御部2が撮像対象Tの識別子Tmの抽出に失敗した場合、制御部2はエラー処理を実行する。エラー処理とは、例えば制御部2が提示部7に提示信号を送信し、提示部7が撮像対象Tの特定に失敗した旨を意味するエラーを提示することである。その後、処理を終了する。
図4で示した情報処理システムの撮像及び認識処理のフローチャートでは、撮像対象Tの特定を識別子Tmに基づいて行っているが、例えば特定物体認識を用いることも可能である。図5を用いて、特定物体認識を用いた場合の情報処理システムの撮像及び認識処理フローを説明する。
図5は、<S01>、<S02>、<S05>及び<S06>は図4にした識別子Tmに基づく撮像対象Tの特定と同一処理のため、説明は省略する。
<S03’>制御部2が撮像部4から撮像画像を受信した後、制御部2は、撮像画像に対して画像認識処理を実行し、撮像対象Tが映し出された撮像対象T領域の抽出を試みる。制御部2が撮像対象Tの撮像対象T領域の抽出に成功した場合、<S04’>に移行する。制御部2が撮像対象Tの撮像対象T領域の抽出に失敗した場合、<S06>に移行する。
<S04’>制御部2が撮像対象Tの撮像対象T領域の抽出に成功した場合、制御部2は抽出した撮像対象T領域に対して特定物体認識を行い、撮像対象Tを特定する。その後、<S05>に移行する。
ここまで、画像登録システムについて、本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。
図6は、本開示に係る情報処理装置の異なる実施形態における外観図である。
例えば、図6に示すようにゲート部3は、図2に示す例より接地面U方向に短くてもよい。
また、図6に示すようにゲート部3は、収容部5の取手部を引っ掛ける引掛部9を備えてもよい。引掛部9は、例えばフックまたはストッパーなどであってもよい。
また、情報処理システムは、ゲート部3の空洞内部に撮像部4の撮像と同タイミングで投光する投光部を設置してもよい。投光部を設置することにより、撮像画像の明度が向上
し、撮像対象Tの特定が容易になる場合がある。
また、制御部2は、撮像部4が撮像した撮像画像に対して補正処理を行ってもよい。補正処理とは、例えば彩度、色調、コントラスト及び歪み等の補正を含んでもよい。補正処理は、撮像画像から撮像対象Tの識別子Tmまたは撮像対象領域の抽出が可能になるように行ってもよい。補正処理を行うことにより、撮像画像から撮像対象Tの識別子Tmまたは撮像対象領域の抽出が容易になる場合がある。
また、撮像部4が撮像した撮像画像にユーザの手指または腕等が映った場合、制御部2は、手指または腕等を認識し、その存在を考慮して撮像対象Tを特定してもよい。例えば、撮像画像に写った識別子Tmを手指Hが覆っていると制御部2が判断した場合、制御部2は特定物体認識によって撮像対象Tを特定してもよい。また、撮像画像に写った識別子Tmを除いた撮像対象Tの領域を手指Hが覆っていると制御部2が判断した場合、制御部2は識別子Tmの認識によって撮像対象Tを特定してもよい。
また、収容部5は、収容部5内に撮像対象Tが収容されたかを判定するセンサを設置してもよい。センサとは、例えば光電センサ、ファイバセンサ、レーザセンサ、超音波センサ、画像センサまたは重量センサであってもよい。収容部5に設置したセンサが収容部5内に撮像対象Tが収容されたと判定された場合、制御部2に収容信号を送信する。制御部2は、撮像部4からの撮像画像の受信有無と収容信号とを比較し、撮像対象Tが正しく収容されたかを判定してもよい。撮像対象Tが正しく収容されたと判定されなかった場合、換言すると例えば制御部2が撮像画像を受信しているにも関わらず収容信号を受信しなかった場合、または撮像画像を受信していないにもかかわらず収容信号を受信した場合、制御部2はエラー処理を実行してもよい。
また、提示部7は、ユーザへの提示ではなく例えば店舗の従業員またはシステム管理者への提示であってもよい。この場合のユーザは、店舗における購買者である。店舗の従業員またはシステム管理者へ提示することにより、店舗の従業員またはシステム管理者が撮像及び認識処理状況を把握することが出来、必要に応じてユーザにフォロー対応が迅速に出来るようになる場合がある。
また、本開示に係るユーザは購買者に限られない。ユーザは、例えば店舗の従業員またはシステム管理者であってもよい。
また、本開示に係る情報処理システムを用いて撮像した、撮像対象Tが映し出された撮像画像または撮像対象領域を、特定した撮像対象Tと紐づける形でデータベース6に記録してもよい。撮像画像または撮像対象領域と撮像対象Tとをデータベースで紐づけることにより、例えばパターンマッチングまたは機械学習で用いる画像データの追加収集が容易になる場合がある。
また、本開示に係る情報処理システム及び情報処理装置は、例えばベルトコンベヤなど搬送路C上に載せられた撮像対象Tの種別または固体の判別にも用いることが可能である。例えば、ベルトコンベヤ上に情報処理装置を図7のように設置してもよい。図7は、ベルトコンベヤ上に情報処理装置を設置した場合の外観図である。なおこの場合、ユーザは例えば現場作業員または作業監督者などであってもよい。
さらに、これまでに述べたように、本開示の解決手段を情報処理システム、情報処理装置、及び、情報処理方法として説明してきたが、本開示は、これらを含む態様としても実現し得るものであり、また、これらに実質的に相当する、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本開示の範囲にはこれらも包含されるもの
と理解されたい。
1 検出部
2 制御部
3 ゲート部
4 撮像部
5 収容部
6 データベース
7 提示部
8 支持部
9 引掛部
H 手指
T 撮像対象
Tm 識別子

Claims (7)

  1. 撮像対象を多面的に撮像して撮像画像を生成する撮像部と、
    前記撮像部を備え、前記撮像対象が通過するゲート部と、
    前記撮像画像から前記撮像対象の任意の領域を抽出し、前記任意の領域に基づいて前記撮像対象を特定する制御部とを備える、
    情報処理システム。
  2. さらに前記撮像対象を検出する検出部を備え、
    前記撮像部は、前記検出部が前記撮像対象を検出した場合に撮像を行う、請求項1に記載の情報処理システム。
  3. 前記ゲート部を通過した前記撮像対象を収容部へと収容できるように構成される、請求項1または2に記載の情報処理システム。
  4. 前記撮像画像は、前記撮像対象の前記ゲート部の内面に面する全周囲画像である、請求項1乃至3の何れか一項に記載の情報処理システム。
  5. 前記撮像部は、前記撮像画像を複数枚生成し、
    前記制御部は、複数枚の前記撮像画像から所定の条件を満たすものを1枚以上選定し、選定した撮像画像から前記撮像対象の任意の領域を抽出し、前記任意の領域に基づいて前記撮像対象を特定する、請求項1乃至4の何れか一項に記載の情報処理システム。
  6. 撮像対象を多面的に撮像する撮像部と、
    前記撮像部を備え、前記撮像対象が通過するゲート部と、
    前記撮像部の撮像画像から前記撮像対象の任意の領域を抽出し、前記任意の領域に基づいて前記撮像対象を特定する制御部とを備える、
    情報処理装置。
  7. ゲート部に備えられた撮像部が、前記ゲート部を通過する撮像対象を多面的に撮像し、
    前記撮像部の撮像画像から前記撮像対象の任意の領域を抽出し、前記任意の領域に基づいて前記撮像対象を特定する、
    情報処理方法。
JP2020144647A 2020-08-28 2020-08-28 情報処理システム、情報処理装置、情報処理方法 Pending JP2022039553A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020144647A JP2022039553A (ja) 2020-08-28 2020-08-28 情報処理システム、情報処理装置、情報処理方法
US18/042,983 US20230316757A1 (en) 2020-08-28 2021-08-23 Information processing system, information processing apparatus, and information processing method
CN202180053029.4A CN115989532A (zh) 2020-08-28 2021-08-23 信息处理系统、信息处理装置以及信息处理方法
PCT/JP2021/030874 WO2022045085A1 (ja) 2020-08-28 2021-08-23 情報処理システム、情報処理装置及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020144647A JP2022039553A (ja) 2020-08-28 2020-08-28 情報処理システム、情報処理装置、情報処理方法

Publications (1)

Publication Number Publication Date
JP2022039553A true JP2022039553A (ja) 2022-03-10

Family

ID=80353330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020144647A Pending JP2022039553A (ja) 2020-08-28 2020-08-28 情報処理システム、情報処理装置、情報処理方法

Country Status (4)

Country Link
US (1) US20230316757A1 (ja)
JP (1) JP2022039553A (ja)
CN (1) CN115989532A (ja)
WO (1) WO2022045085A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887681A (ja) * 1994-09-20 1996-04-02 Hitachi Ltd チェックアウト装置
JP6417912B2 (ja) * 2014-12-10 2018-11-07 カシオ計算機株式会社 商品処理システム、商品処理方法及びプログラム
JP6891389B2 (ja) * 2015-03-31 2021-06-18 日本電気株式会社 商品登録装置、プログラム、制御方法、及び精算システム
JP2019008759A (ja) * 2017-06-28 2019-01-17 株式会社 コリアセブン 無人計算装置、その制御方法及びコンピュータプログラム、並びに無人計算装置の制御装置
JP2019184380A (ja) * 2018-04-09 2019-10-24 株式会社アドダイス 撮像装置及び撮像装置を用いた検査システム

Also Published As

Publication number Publication date
US20230316757A1 (en) 2023-10-05
CN115989532A (zh) 2023-04-18
WO2022045085A1 (ja) 2022-03-03

Similar Documents

Publication Publication Date Title
US11238298B2 (en) Item tracking using a dynamic region of interest
JP6535775B2 (ja) 画像データの取得処理方法及そのシステム
US20140246487A1 (en) Information processing apparatus and information processing method
WO2015147333A1 (ja) 売上登録装置、プログラム及び売上登録方法
US20110180596A1 (en) Code reading apparatus, sales registration processing apparatus, and code reading method
US10402611B2 (en) Automated modification of imaging scanner function based on orientation
US11809999B2 (en) Object recognition scanning systems and methods for implementing artificial based item determination
US20120054052A1 (en) Store system, sales registration apparatus, and control method
WO2022045085A1 (ja) 情報処理システム、情報処理装置及び情報処理方法
JP2013145454A (ja) 情報処理装置及びプログラム
WO2019003688A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP2012074025A (ja) 撮像装置、読取装置、および光量調整方法
US20230206014A1 (en) Fixed retail scanner with on-board artificial intelligence (ai) accelerator module and related methods
CN107742383B (zh) 基于光面成像的自动结算系统及结算方法
EP3989105A1 (en) Embedded device based detection system
JP2012177992A (ja) 情報コード読取装置、および、情報コード読取方法
US10803607B2 (en) Systems and methods tracking objects within a venue using a symbology accelerator
JP2016062564A (ja) 情報処理装置及び情報処理プログラム
JP2006270137A (ja) 撮像装置
US20190378389A1 (en) System and Method of Detecting a Potential Cashier Fraud
CN113762429A (zh) 自助取件方法、装置、设备、电子设备和存储介质
CN112149461A (zh) 用于识别对象的方法和设备
US20240087428A1 (en) Display device and display method
US11328139B1 (en) Method for scanning multiple items in a single swipe
US20230057369A1 (en) Image data registration system and image data registration method

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240618