JP2021103442A

JP2021103442A - 画像データ登録システム、画像データ登録方法

Info

Publication number: JP2021103442A
Application number: JP2019234581A
Authority: JP
Inventors: 暁艶戴; Xiao Yan Dai
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2019-12-25
Filing date: 2019-12-25
Publication date: 2021-07-15
Also published as: EP4083950A1; US20230057369A1; CN114902302A; EP4083950A4; WO2021131563A1

Abstract

【課題】認識システムにおいて、効率的に商品の画像データを収集すること。【解決手段】入力部１によって入力された画像を保存する第１の保存部３ａと、前記入力部１によって入力された商品コードと前記画像とを紐づける処理を行う画像処理部２と、を備え、前記画像処理部２は、前記第１の保存部３ａに保存された画像から所定の条件を満たす少なくとも１枚以上の画像を取得し、前記取得した画像と前記入力された商品コードとを紐づける、画像データ登録システム。【選択図】図２

Description

本発明は、画像データ登録システム及び画像データ登録方法に関するものである。

ＰＯＳ（Ｐｏｉｎｔ оｆｓａｌｅｓｙｓｔｅｍ）システムにおいて、カメラの撮像画像を用いて商品の自動識別を行う技術が開示されている（例えば、特許文献１）。

特開２０１７−２２０１９８号公報

このようなＰＯＳシステムを含む認識システムにおける物体の自動認識において、効率的に商品の画像データを収集することが期待されている。

従って、上記の点に鑑みてなされた本開示の目的は、認識システムにおいて、効率的に商品の画像データを収集することにある。

上述した目的を達成するため、本開示の一側面である画像データ登録システムは、入力部によって入力された画像を保存する第１の保存部と、前記入力部によって入力された商品コードと前記画像とを紐づける処理を行う画像処理部と、を備え、前記画像処理部は、前記第１の保存部に保存された画像から所定の条件を満たす少なくとも１枚以上の画像を取得し、前記取得した画像と前記入力された商品コードとを紐づけることを含む。

また、本開示の一側面である画像データ登録方法は、入力部によって入力された画像を第１の保存部に保存し、入力部によって入力された商品コードを取得し、第１の保存部から所定の条件を満たす少なくとも１枚以上の画像を取得し、前記取得した画像と前記商品コードとを紐づけることを含む。

上記のように構成された本開示によれば、認識システムにおいて、効率的に商品の画像データを収集することが可能になる。

図１は、本開示の第１の実施形態に係る画像データ登録システムの概略構成を示す機能ブロック図である。図２は、本開示の第１の実施形態に係る画像データ登録システムの外観図である。図３は、本開示の第１の実施形態に係る画像データ登録システムの画像データ登録方法を示すフローチャート図である。図４は、本開示の第１の実施形態に係る画像データ登録システムによって登録されたデータベースのイメージ図である。図５は、本開示の第２の実施形態に係る画像データ登録システムの画像データ登録方法を示すフローチャート図である。図６は、本開示の第３の実施形態に係る画像データ登録システムの画像データ登録方法を示すフローチャート図である。図７は、本開示の第３の実施形態に係る画像データ登録システムによって登録されたデータベースのイメージ図である。

以下、本開示に係る画像データ登録システムの実施形態について、図面を参照して説明する。

図１及び図２に示すように、本開示の第１の実施形態に係る画像データ登録システムは、入力部１、画像処理部２及び第１の保存部３ａを含んで構成されている。また、画像データ登録システムは、第２の保存部３ｂ、保持部４、載置面５、筐体６を含んで構成されてよい。

以後の図において、各機能ブロックを結ぶ実線の矢印は、制御信号または通信される情報の流れを示す。矢印が示す通信は、有線／無線のどちらでもあってもよく、また、両者の組み合わせであってもよい。

入力部１は、商品の画像または後述する商品コードを、後述する画像処理部２に入力する。

商品コードまたは商品を撮像するため、入力部１は、撮像光学系及び撮像素子を含んで構成される。撮像光学系は、例えば、１個以上のレンズ及び絞りなどの光学部材を含む。レンズは、焦点距離に囚われずどのようなものであってもよく、例えば、一般的なレンズ、魚眼レンズを含む広角レンズまたは焦点距離が可変であるズームレンズであってもよい。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを含む。撮像素子は、受光面上に結像された被写体像を撮像して撮像画像を生成する。なお、撮影光学系は、図２に図示したように設置しても良いし、例えば天井など、入力操作を撮影可能な位置に設置してもよい。つまり、また、商品コードをスキャンするため、入力部１は、ＣＣＤ方式、レーザー方式またはペン方式等を含むコードスキャン方式に基づくコードスキャナを含んでもよい。なお、撮像光学系とコードスキャナは必ずしも一体に備えられる必要はなく、別個に備えられてもよい。

入力部１は、消費者が購買する商品の精算で用いる精算装置に備えられてもよい。精算装置とは、例えばキャッシュレジスタ端末を含む。

第１の保存部３ａは、入力部１が撮像した画像を保存する。

画像処理部２は、第１の処理部２１と第２の処理部２２を含んで構成される。

第１の処理部２１は、入力部１に入力された商品コードを取得する。商品コードの取得方法は、例えば入力部１に入力された画像に対して、深層学習を含む機械学習またはパターンマッチング等に基づいて画像（ここでは商品コードを意味する）認識を行うこと、または入力部１に入力された、商品に付与されている商品コードに基づくマッチング処理を含む。商品コードは、例えば、バーコード、ＱＲコード（登録商標）または識別マーカーを含む。第１の処理部２１は、商品コードの識別によって画像とその画像に含まれる商品に付与されている商品コードに関連する情報（例えば、金額、商品名または生産者を含む）を取得することができる。

第２の処理部２２は、第１の保存部３ａに保存された画像から、所定の条件を満たす少なくとも１枚以上の画像を取得し、取得した画像と入力部１に入力された商品コードとを紐づけした紐づけデータセットを生成し、後述する第２の保存部３ｂに保存する。

画像処理部２は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などを含むプロセッサを含んで構成される。また、後述する第１の処理部２１及び第２の処理部２２の処理過程のデータを格納するための一時保存部を別途備えてもよい。一時保存部は、例えば半導体メモリ、磁気メモリ、及び光メモリ等の何れか一つ以上を用いて構成されてよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープ等を含んでよい。光メモリは、例えばＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）、及びＢＤ（Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ）等を含んで構成されてもよい。

第２の保存部３ｂは、入力部１で撮像された画像を、画像処理部２での認識結果と紐づけて保存する。

第１の保存部３ａ及び第２の保存部３ｂは、例えば半導体メモリ、磁気メモリ、及び光メモリ等の何れか一つ以上を用いて構成されてよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープ等を含んでよい。光メモリは、例えばＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）、及びＢＤ（Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ）等を含んで構成されてもよい。

なお、画像処理部２、第１の保存部３ａ及び第２の保存部３ｂは、必ずしもオンプレミスである必要はない。例えば、画像処理部２、第１の保存部３ａ及び第２の保存部３ｂの少なくとも何れか１つを、Ｗｅｂサービス上のクラウドにて処理を行ってもよい。その場合、物理的な構成要素としては入力部１のみとなってもよい。

保持部４は、入力部１を保持する。

保持部４の材質、形状及び大きさ等は特に限定されない。配置についても、図２では、保持部４は後述する筐体６に備えられているが、必ずしも筐体６に備えられる必要はない。つまり、入力部１を保持することが達成されるのであれば、保持部４はどのようなものであってもよい。

載置面５は、入力部１によって撮像される商品を載置する面である。

載置面５の材質、形状及び大きさ等は特に限定されない。配置についても、図２では、後述する筐体６において、入力部１に面する面に備えられているが、必ずしも図２のような配置である必要はない。つまり、入力部１によって撮像される商品を載置することが達成されるのであれば、載置面５はどのようなものであってもよい。また、入力部１に対して手で商品をかざして撮像する場合、載置面５は備えられる必要はない。

筐体６は、保持部４及び載置面５を備える。

筐体６の材質、形状及び大きさ等は特に限定されない。また、画像データ登録システムが保持部４及び載置面５を備えない場合、筐体６は備えられる必要はない。

次に、図３を用いて、本開示の第１の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローを説明する。第１の実施形態に係る画像データ登録システムにおいては、画像の取得に係る所定の条件として、商品コードの取得時とその前後の撮像された画像を取得する。この条件によって、画像データ登録システムは、複数枚の商品の画像を一度に登録することが可能となる。

＜Ｓ１０１＞
第１の処理部２１は、フレーム番号を意味するｎ及び取得するフレーム枚数を決定するパラメータｍを、それぞれｎ＝１、ｍ＝Ｘ（Ｘは任意の自然数）と定義する。その後、＜Ｓ１０２＞に進む。

＜Ｓ１０２＞
入力部１は、商品の撮像を行い、撮像によって生成された画像を第１の保存部３ａに保存する。その後、＜Ｓ１０３＞に進む。なお、第１の保存部３ａは、保存された画像について、任意の条件を満たした画像（例えば、撮像されてから一定時間が経過した画像）を削除してもよい。

＜Ｓ１０３＞
第１の処理部２１は、第１の保存部３ａに保存された画像に対して、フレーム番号としてｎを付与する。その後、＜Ｓ１０４＞に進む。

＜Ｓ１０４＞
第１の処理部２１は、ｎ＝ｎ＋１を実行する。その後、＜Ｓ１０５＞に進む。

＜Ｓ１０５＞
第１の処理部２１は、入力部１から商品コードが入力されたかを判断する。商品コードが入力された場合、＜Ｓ１０６＞に進む。商品コードが入力されていない場合、＜Ｓ１０２＞に戻る。

＜Ｓ１０６＞
第１の処理部２１は、入力部１から入力された商品コードを取得する。その後、＜Ｓ１０７＞に進む。

＜Ｓ１０７＞
第１の処理部２１は、ｎ−ｍ＜０かの判断を行う。ｎ−ｍ＜０を満たす場合、＜Ｓ１０８＞に進む。ｎ−ｍ＜０を満たさない場合、＜Ｓ１０９＞に進む。

＜Ｓ１０８＞
第１の処理部２１は、フレーム番号がｎ−ｍ以上かつｎ以下である画像を、第１の保存部３ａから取得する。その後、＜Ｓ１１０＞に進む。

＜Ｓ１０９＞
第１の処理部２１は、第１の保存部３ａに保存されている全ての画像を取得する。その後、＜Ｓ１１０＞に進む。

＜Ｓ１１０＞
入力部１は、商品の撮像を行い、撮像によって生成された画像を第１の保存部３ａに保存する。その後、＜Ｓ１１１＞に進む。

＜Ｓ１１１＞
第１の処理部２１は、第１の保存部３ａに保存された画像に対して、フレーム番号としてｎを付与する。その後、＜Ｓ１１２＞に進む。

＜Ｓ１１２＞
第１の処理部２１は、フレーム番号がｎの画像を、第１の保存部３ａから取得する。その後、＜Ｓ１１３＞に進む。

＜Ｓ１１３＞
第１の処理部２１は、ｎ＜ｍかの判断を行う。ｎ＜ｍを満たす場合、＜Ｓ１１４＞に進み、ｎ＜ｍを満たさない場合、＜Ｓ１１５＞に進む。

＜Ｓ１１４＞
第１の処理部２１は、ｎ＝ｎ＋１を実行する。その後、＜Ｓ１１０＞に戻る。

＜Ｓ１１５＞
第２の処理部２２は、取得した少なくとも１枚以上の画像（以下、画像群と表記）と商品コードとを紐づけし、紐づけデータを生成する。その後、＜Ｓ１１６＞に進む。

＜Ｓ１１６＞
第２の処理部２２は、紐づけデータを第２の保存部３ｂに保存する。その後、処理を終了する。

図４は、第１の実施形態に係る画像データ登録システムの画像登録処理によって登録されたデータベースのイメージ図である。図４より、商品コード入力の際の前後の商品の画像も撮像し、第２の保存部３ｂへ紐づけて保存できていることが分かる。

なお、先の説明において、商品コード入力の際の前後の商品の画像の取得枚数について、パラメータｍのみで決定したが、必ずしも１つのパラメータのみで決定する必要はない。例えば２つ以上のパラメータを用いて取得枚数を設定してもよい。また、これらのパラメータは任意に設定変更であってよい。

次に、本開示の第２の実施形態に係る画像データ登録システムについて説明する。第２の実施形態に係る画像データ登録システムの構成は、第１の実施形態に係る画像データ登録システムと同一である。

第１の実施形態に係る画像データ登録システムは効率的に画像を取得することができるが、その中にノイズ画像（例えば、対象の商品が写っていない画像など）が含まれる可能性が出てくる。そのため、第３の実施形態に係る画像データ登録システムは、取得した画像にノイズ画像が含まれているかを判断し、ノイズ画像と判断された画像は第２の保存部３ｂに保存しないようにすることを特徴とする。上述の特徴により、第３の実施形態に係る画像データ登録システムは、ノイズ画像を含まないクリーンな画像データを効率的に取得することができる。つまり、第２の実施形態に係る画像データ登録システムにおいては、画像の取得に係る所定の条件として、ノイズ画像を取得することが、第１の実施形態に係る画像データ登録システムの条件に加わった形となる。

次に、図６を用いて、本開示の第３の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローを説明する。

＜Ｓ２０１＞乃至＜Ｓ２１４＞
これらの処理は、第１の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローの＜Ｓ１０１＞乃至＜Ｓ１１４＞に対応する。＜Ｓ２１４＞の処理後、＜Ｓ２１５＞に進む。

＜Ｓ２１５＞
第１の処理部２１は、第１の保存部３ａから取得した画像群について、ノイズ画像が含まれているかを判断する。ノイズ画像かを判断する基準として、例えば、商品のほとんどが写されていない画像、商品コードを認識できない画像または手指を含む体の一部が画像の所定の割合の領域を占めている画像をノイズ画像と判断してもよい。もしくは、公知の画像認識処理において、物体検出または物体認識ができない画像をノイズ画像と判断してもよい。ノイズ画像が含まれていると判断した場合、＜Ｓ２１６＞に進む。ノイズ画像が含まれていないと判断した場合、＜Ｓ２１７＞に進む。

＜Ｓ２１６＞
第１の処理部２１は、ノイズ画像と判断された画像群を取得した画像群の中から除外する。その後、＜Ｓ２１７＞に進む。

＜Ｓ２１７＞乃至＜Ｓ２１８＞
これらの処理は、第１の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローの＜Ｓ１１５＞乃至＜Ｓ１１６＞に対応する。＜Ｓ２１８＞の処理後、処理を終了する。

次に、本開示の第３の実施形態に係る画像データ登録システムについて説明する。第３の実施形態に係る画像データ登録システムの構成は、第１の実施形態及び第２の実施形態に係る画像データ登録システムと同一である。

第３の実施形態に係る画像データ登録システムは、第２の実施形態に係る画像データ登録システムの機能に加えて、更に商品関連情報を取得し、紐づけデータの一属性として紐づけすることを特徴とする。商品関連情報とは、例えば、商品のラベルに含まれる文字情報を含む。上述の特徴により、第３の実施形態に係る画像データ登録システムは、更にリッチな紐づけデータを第２の保存部３ｂに保存することができる。

＜Ｓ３０１＞乃至＜Ｓ３１６＞
これらの処理は、第３の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローの＜Ｓ２０１＞乃至＜Ｓ２１６＞に対応する。＜Ｓ３１６＞の処理後、＜Ｓ３１７＞に進む。

＜Ｓ３１７＞
第１の処理部２１は、第１の保存部３ａから取得した画像群に対して、商品関連情報を取得する。その後、＜Ｓ３１８＞に進む。

＜Ｓ３１８＞
第２の処理部２２は、商品コード、第１の保存部３ａから取得した画像群及び商品関連情報とを紐づけし、紐づけデータを生成する。その後、＜Ｓ３１９＞に進む。

＜Ｓ３１９＞乃至＜Ｓ３２０＞
これらの処理は、第１の実施形態に係る画像データ登録システムにおける画像データ登録方法における処理フローの＜Ｓ１１５＞乃至＜Ｓ１１６＞に対応する。＜Ｓ３２０＞の処理後、処理を終了する。

図７は、第３の実施形態に係る画像データ登録システムの画像登録処理によって登録されたデータベースのイメージ図である。図７より、商品関連情報として、商品コードに紐づけされた画像から取得できる文字情報が紐づけされていることが分かる。

ここまで、画像データ登録システムについて、本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。例えば、第１の実施形態乃至第３の実施形態に係る画像データ登録システムにおいて、図３、図５及び図６を用いて画像登録処理に係る処理フローを説明してきたが、作業者が別途備えられる入力装置を介して登録作業の終了を画像データ登録システムに入力するまでの間、当該処理フローを繰り返してよい。即ち、例えば、第１の実施形態に係る画像データ登録システムにおいて、図３を用いると、＜Ｓ１１６＞の処理後に、作業者による登録作業の終了が画像データ登録システムに入力されたかを判断する判断処理を行い、作業者による登録作業の終了が画像データ登録システムに入力された場合はそのまま処理を終了し、そうでない場合は＜Ｓ１０２＞に戻ってもよいし、＜Ｓ１０２＞において商品コード入力がないと判断された場合、引き続き＜Ｓ１０２＞を実行してもよい。これは第２の実施形態乃至第４の実施形態に係る処理フローにおいても同じことが適用できる。また、商品関連情報は、文字情報に限定されず、例えば、ロゴ等の画像情報であってもよい。また、抽出された商品関連情報について、公知の文字認識技術または物体認識技術等を含む画像認識技術を用いてノイズ除去に係る処理を行ってもよい。また、本開示及び本開示に基づいて変形及び修正した方法の２つ以上の組み合わせをしてもよい。従って、これらを含む本開示の変形及び修正は本開示の範囲に含まれることに留意されたい。

さらに、これまでに述べたように、本開示の解決手段を画像データ登録システム、画像登録装置、及び、画像データ登録方法として説明してきたが、本開示は、これらを含む態様としても実現し得るものであり、また、これらに実質的に相当する、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本開示の範囲にはこれらも包含されるものと理解されたい。

本開示の画像データ登録システム及び画像データ登録方法によって取得された画像及び商品関連情報を用いて、例えば深層学習を含む機械学習の学習データまたはパターンマッチング用の辞書データを構築することができる。

１撮像部
２画像処理部
３保存部
３ａ第１の保存部
３ｂ第２の保存部
４保持部
５載置面
６筐体
２１第１の処理部
２２第２の処理部

Claims

入力部によって入力された画像を保存する第１の保存部と、
前記入力部によって入力された商品コードと前記画像とを紐づける処理を行う画像処理部と、を備え、
前記画像処理部は、前記第１の保存部に保存された画像から所定の条件を満たす少なくとも１枚以上の画像を取得し、前記取得した画像と前記入力された商品コードとを紐づける、画像データ登録システム。
前記画像処理部は、前記紐づけられた商品コードと画像とを第２の保存部に保存する、請求項１に記載の画像データ登録システム。
前記所定の条件は、前記入力された商品コードを前記画像処理部が取得した時とその前後に撮像された画像であることを含む、請求項１または２に記載の画像データ登録システム。
前記所定の条件は、ノイズ画像でないことを含む、請求項１乃至３の何れか一項に記載の画像データ登録システム。
前記画像処理部は、前記画像から商品関連情報を抽出する、請求項１乃至４の何れか一項に記載の画像データ登録システム。
前記入力部は、消費者が購買する商品の精算で用いる精算装置に備えられる、請求項１乃至５の何れか一項に記載の画像データ登録システム。
入力部によって入力された画像を第１の保存部に保存し、
入力部によって入力された商品コードを取得し、
第１の保存部から所定の条件を満たす少なくとも１枚以上の画像を取得し、
前記取得した画像と前記商品コードとを紐づける、画像データ登録方法。