JP2017187971A - 画像処理装置 - Google Patents

Abstract

【課題】値引きのためのシールが貼られた商品について、作業負担を軽減して確実に値引き処理することができる画像処理装置を提供する。
【解決手段】実施形態によれば、画像処理装置は、領域切出し手段、マスク生成手段、商品識別手段、値引き処理手段を有する。領域切出し手段は、入力画像から商品に対応する部分画像を切出す。マスク生成手段は、前記部分画像から第１パターン画像が探索された場合に、前記第１パターン画像をもとに値引き情報を生成すると共に、前記第１パターン画像が検出された位置に基づいて第１マスクパターンを生成する。商品識別手段は、前記部分画像に対して前記第１マスクパターンによりマスキングしたマスク画像と、複数の商品にそれぞれ対応する登録画像とのマッチングにより、前記部分画像に対応する商品を特定して、前記部分画像に対応する商品情報を取得する。値引き処理手段は、前記商品情報が示す前記商品の価格と前記値引き情報をもとに値引き処理をする。
【選択図】図１

Description

本発明の実施形態は、画像処理装置に関する。

スーパーマーケットなど店舗で使用されるＰＯＳ（Point of Sales）レジ（ＰＯＳ端末）では、商品に付されたバーコードを読み取ることによって、顧客が購入しようとする商品を登録するのが一般的である。また、近年では、商品の外観画像（パッケージ画像）を読み取り、画像認識技術によって商品を自動識別するタイプのＰＯＳ端末が現れている。

ところで、多くの店舗では、特売品や鮮度が低下した日配品には、早く売りさばいて廃棄ロスをなくすため、値引き率や値引き額を表示した値引きシールを貼り付けて、レジにて値引きする措置が取られている。その方法としては、以下の２通りの方法がある。

第１の方法は、オフシールとよばれる、値引後価格のバーコードが付いた値引きバーコードシールを元のバーコードに上貼りし、これを読み取って値引後価格で精算するというものである。第２の方法は、値引きシールを用いる方法である。第２の方法では、元のバーコードをバーコードスキャナで読み取って通常価格を取得し、その後に、値引きシールに記された値引き率あるいは値引き額を、レジ係が手動操作で値引き処理するというものである。

第１の方法では、バーコードに対して値引きバーコードシールを上張りする必要があるため、店舗スタッフは、シールの貼り付け時に、商品に付されたバーコードの位置を確認し、適切な位置にバーコードシールが貼られるように十分に注意を払う必要がある。第２の方法では、バーコードを読み取る操作をした後、さらに商品に貼り付けられた値引きシールに応じた値引きをするための操作をする必要がある。また、商品のパッケージ画像を読み取るタイプのＰＯＳ端末では、値引きシールがパッケージ画像の特徴的な部分に貼り付けられた場合に、パッケージ画像から正しく商品を識別できないおそれがあるため、値引きシールの貼り付け位置について十分に注意を払う必要がある。

特許５６５１０４８号公報

本発明が解決しようとする課題は、値引きのためのシールが貼られた商品について、作業負担を軽減して確実に値引き処理することができる画像処理装置を提供することである。

実施形態によれば、画像処理装置は、領域切出し手段、マスク生成手段、商品識別手段、値引き処理手段を有する。領域切出し手段は、入力画像から商品に対応する部分画像を切出す。マスク生成手段は、前記部分画像から第１パターン画像が探索された場合に、前記第１パターン画像をもとに値引き情報を生成すると共に、前記第１パターン画像が検出された位置に基づいて第１マスクパターンを生成する。商品識別手段は、前記部分画像に対して前記第１マスクパターンによりマスキングしたマスク画像と、複数の商品にそれぞれ対応する登録画像とのマッチングにより、前記部分画像に対応する商品を特定して、前記部分画像に対応する商品情報を取得する。値引き処理手段は、前記商品情報が示す前記商品の価格と前記値引き情報をもとに値引き処理をする。

本実施形態における画像処理装置をＰＯＳ端末として実現した場合のチェックアウトシステムの構成を示すブロック図。 本実施形態における画像処理機能部の構成を示すブロック図。 本実施形態におけるＰＯＳ端末（プロセッサ）の動作を示すフローチャート。 本実施形態におけるＰＯＳ端末（プロセッサ）の動作を示すフローチャート。 本実施形態における入力画像の一例を示す図。 本実施形態における領域区分画像の一例を示す図。 本実施形態における画像処理機能部の処理を説明するための図。 本実施形態における値引きシールとフラグシールの一例を示す図。 商品に貼られた値引きシールとフラグシールの一例を示す図。 部分画像の特徴点（領域）と辞書登録済みの商品の特徴点（領域）との対応を示す図。

以下、本実施形態について、図面を参照しながら説明する。
図１は、本実施形態における画像処理装置をＰＯＳ端末１１（１１−１，…，１１−ｎ）として実現した場合のチェックアウトシステムの構成を示すブロック図である。画像処理装置は、ＰＯＳ端末１１に限らず、セルフレジ端末、セミセルフ（分担制）チェックアウトシステムにおける商品登録機など、商品の登録をする機能が設けられた装置において実現することが可能である。

図１に示すチェックアウトシステムは、例えばスーパーマーケットなど店舗で使用されるもので、複数のＰＯＳ端末１１（１１−１，…，１１−ｎ）が、例えばＬＡＮ（local area network）１３などのネットワークを介して接続される。ネットワークは、ＬＡＮ１３に代えて、インターネットや無線ＬＡＮなどの別の通信網を用いることもできる。また、チェックアウトシステムは、システム全体を管理するストアコンピュータ１４、店員が使用するコンピュータ１６などがＬＡＮ１３に接続される。

ＰＯＳ端末１１は、プロセッサ２０、ＲＯＭ（read-only memory）２１、ＲＡＭ（random-access memory）２２、記憶ユニット２３、スピーカ２４、入出金装置２５、スキャナ２６、タッチパネル２７、プリンタ２８、カードリーダライタ２９、カメラ３０、及び通信ユニット３１が、伝送システム１１ｋを介して相互に接続されている。

プロセッサ２０は、ＲＯＭ２１及びＲＡＭ２２に記憶されたオペレーティングシステム、ミドルウェア及びアプリケーションプログラムに基づいて、ＰＯＳ端末１１としての各種の機能を実現するために各部を制御する。プロセッサ２０により実行されるアプリケーションには、例えば商品登録処理をする商品登録処理プログラム、会計処理をする会計処理プログラムなどが含まれる。商品登録処理プログラムには、カメラ３０により撮影した商品の画像をもとに買い上げ対象とする商品を識別し、商品を登録する画像処理プログラムが含まれる。プロセッサ２０は、画像処理プログラムを実行することにより、商品に値引きシールが貼り付けられている場合に、値引きシールが示す値引き情報をもとに値引き処理をする機能を実現する。

ＲＯＭ２１は、固定的なプログラムやデータを記憶するもので、ミドルウェアやアプリケーションプログラム、プロセッサ２０が各種の処理を行う上で参照するデータなどを記憶する。

ＲＡＭ２２は、プロセッサ２０により実行される各種プログラム、プロセッサ２０が各種の処理を行う上で使用するデータなど、一時的にプログラムやデータを記憶するためのワークエリアとして利用される。

記憶ユニット２３は、例えばＥＥＰＲＯＭ（登録商標）（electric erasable programmable read-only memory）、ＨＤＤ（hard disk drive）、あるいはＳＳＤ（solid state drive）などを使用できる。記憶ユニット２３には、プロセッサ２０により実行される各種プログラム、プロセッサ２０が各種の処理を行う上で使用するデータ、あるいはプロセッサ２０での処理によって生成されたデータが記憶される。記憶ユニット２３に記憶されるプログラムには、商品登録処理プログラム、会計処理プログラムを含む。

また、ＲＡＭ２２あるいは記憶ユニット２３には、商品登録のためにカメラ３０によって撮影された商品を撮影した画像（入力画像）、入力画像に含まれる商品のパッケージ画像（部分画像）をもとに商品を識別するための辞書登録画像（局所特徴点情報、商品登録画像）、商品に貼り付けられるシール（値引きシール、フラグシール）を識別するためのパターン画像、商品に付された商品コードを示すバーコードを識別するデータ、商品登録処理において登録される登録商品についてのデータを記録する登録商品リストなどが記憶される。

スピーカ２４は、警告音やメッセージ音声などの音を出力する。
入出金装置２５は、プロセッサ２０の制御のもとで、紙幣／硬貨投入口から投入される紙幣と貨幣を取り扱う機構、及び紙幣／硬貨排出口から紙幣と貨幣を排出する機構とを有する。
スキャナ２６は、商品に付されたバーコードが相対するように、商品が翳された場合にバーコードを光学的に読取る。
タッチパネル２７は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスとタッチセンサを含む。表示デバイスは、店舗従業員や顧客のタッチ操作により各種の選択指示や各種情報を入力するためのＧＵＩ（Graphical User Interface）画面を表示する。

プリンタ２８は、レシート用紙に対して各種の文字列や画像などを印刷することにより、レシートを発行する。プリンタ２８は、例えばサーマルプリンタやドットインパクトプリンタなどを利用できる。

カードリーダライタ２９は、カードに記録されたデータを読み取る機能と、カードへデータを書き込む機能とを有する。カードは、クレジットカード、電子マネーカード、プリペイドカードなどの決済用カードの他に、メンバーズカードやポイントカードなどと称される会員カードを含み得る。

カメラ３０は、顧客が購入しようとする登録対象の商品の画像を撮影する撮像装置である。カメラ３０は、例えば予め決められた撮影範囲内に載置された商品をプロセッサ２０からの指示応じて撮影し、撮影された画像のデータ（入力画像）を出力する。カメラ３０は、撮影範囲内に載置された複数の商品を含む画像を撮影することができる。
通信ユニット３１は、ＬＡＮ１３を介して接続されるストアコンピュータ１４、コンピュータ１６を含む他の電子機器との通信を制御する。

図２は、本実施形態における画像処理機能部３９の構成を示すブロック図である。プロセッサ２０は、画像処理プログラムを実行することにより、画像処理機能部３９に含まれる各機能部を実現する。画像処理機能部３９（プロセッサ２０）は、入力画像に含まれる商品に対応する部分画像をもとに、商品を識別すると共に商品に付された値引きシールが示す値引き情報を識別する。

画像処理機能部３９は、領域識別部４０、領域切出し部４１、マスク生成部４２、商品識別部（第１のマスキング部４３、ガイダンス生成部４４、局所特徴点抽出部４５、特徴点マッチング部４６、射影変換部４７、第２のマスキング部４８、詳細マッチング部４９）を含む。

領域識別部４０は、カメラ３０により撮影された入力画像に対して、入力画像に写っている個々の商品に対応する商品領域と商品領域以外の領域とを識別し、それぞれの領域を示す領域区分画像を生成する。

領域切出し部４１は、領域識別部４０により生成された領域区分画像に基づいて、入力画像から注目商品（商品登録の対象とする商品）に対応する部分画像を切り出す。

マスク生成部４２は、部分画像に対して、予め登録済みのパターン画像を探索し、検出位置に基づいてマスクパターンを生成する。すなわち、マスク生成部４２は、領域切出し部４１により切り出された部分画像に対して、予め登録済みの値引きシールに対応する第１パターン画像を探索する。マスク生成部４２は、第１パターン画像が検出された場合、値引き処理が必要であることを示す値引きフラグをアクティブ（オン）に出力すると共に、第１パターン画像が検出された位置に基づいて第１マスクパターンを生成する。マスク生成部４２は、第１パターン画像が検出された場合に、部分画像から検出された第１パターン画像が示す値引き情報を生成する。また、マスク生成部４２は、部分画像から第１パターン画像が探索されず、フラグシール（後述する）に対応する第３パターン画像が探索された場合に、第３パターン画像が検出された位置に基づいて第３マスクパターンを生成する。また、マスク生成部４２は、部分画像のバーコード（第２パターン画像）に相当する領域を探索する。

第１のマスキング部４３は、マスク生成部４２により生成されるマスクパターン（第１／第３マスクパターン）に基づいて、部分画像の一部（マスクパターンに相当する領域）を一様な画素値に変換してマスク部分画像を生成する。マスク部分画像は、シールが貼られていた領域（シール領域）が空白になった部分画像である。

ガイダンス生成部４４は、マスク生成部４２により、部分画像から第１パターン画像が探索されず、フラグシール（後述する）に対応する第３パターン画像が探索された場合に、商品の撮影を再度することを案内することを指示するガイダンスフラグをアクティブ（オン）に出力すると共にガイダンス情報を生成する。

局所特徴点抽出部４５は、マスク部分画像に対して、特徴点マッチング部４６による特徴点マッチングに用いる局所特徴点情報を抽出する。

特徴点マッチング部４６は、局所特徴点抽出部４５により部分画像から抽出された局所特徴点情報と、予め辞書登録済みの商品の局所特徴点情報とを照合し、両者間の局所特徴点の対応状態に基づいて、両者の相対位置関係を表現する射影変換行列と、部分画像に対する認識候補とする商品（一致候補商品）の商品情報とを出力する。

射影変換部４７は、特徴点マッチング部４６により出力される一致候補商品の商品情報に基づいて、商品情報に対応する登録画像（パッケージ画像）を読み込み、射影変換行列に基づいて射影変換し、射影登録画像を生成する。

第２のマスキング部４８は、マスク生成部４２により生成されたマスクパターン（第１／第３マスクパターン）に基づいて、射影登録画像の一部を一様な画素値に変換してマスク登録画像を生成する。マスク登録画像は、部分画像におけるシールが貼られていた領域（シール領域）に相当する領域が空白になった登録画像である。

詳細マッチング部４９は、マスク部分画像とマスク登録画像の類似度を算出し、類似度と所定の判定閾値とに基づいて判定される部分画像に対応する商品の商品情報を取得する。また、詳細マッチング部４９は、部分画像のバーコードが付された領域（バーコード領域）からバーコードが表す商品コードを読み取り、商品コードに対応する商品の商品情報を取得する。

また、プロセッサ２０は、画像処理プログラムにより、詳細マッチング部４９により出力される商品情報が示す商品の価格と、マスク生成部４２により出力される値引き情報をもとに値引き処理をする値引き処理部（図示せず）を実現する。

次に、本実施形態におけるＰＯＳ端末１１の動作について説明する。図３及び図４は、本実施形態におけるＰＯＳ端末１１（プロセッサ２０）の動作を示すフローチャートである。

本実施形態におけるＰＯＳ端末１１では、顧客が購入しようとする商品について登録する場合、カメラ３０による撮影範囲に商品が載置された上で撮影実行（商品の登録実行）を指示する。例えば、タッチパネル２７に対する操作により商品の撮影が指示されると、プロセッサ２０は、カメラ３０に対して撮影を指示する。カメラ３０は、プロセッサ２０からの指示に応じて撮影を実行し、撮影した画像データ（入力画像）を出力する。プロセッサ２０は、カメラ３０により撮影された画像を入力する（ＡｃｔＡ１）。

図５は、本実施形態における入力画像の一例を示す図である。図５に示す入力画像には、例えば４つの商品の画像Ｇ１，Ｇ２，Ｇ３，Ｇ４が含まれている。また、画像Ｇ１，Ｇ３には、商品に貼られた値引きシールを表すシール画像Ｄ１，Ｄ２が含まれている。

以下、プロセッサ２０は、画像処理機能部３９により入力画像Ｓ０を対象として商品認識の処理を実行する。領域識別部４０は、入力画像Ｓ０に対して、入力画像に写っている個々の商品に対応する商品領域と商品領域以外の領域とを識別し、それぞれの領域を示す領域区分画像を生成する（ＡｃｔＡ２）。領域切出し部４１は、領域識別部４０により生成された領域区分画像Ｓ１を取得し（ＡｃｔＡ３）、１つの商品（注目商品）についての認識処理に対応する値引きフラグとガイダンスフラグをオフに初期化する（ＡｃｔＡ４）。また、領域切出し部４１は、領域区分画像に基づいて、入力画像から認識対象とする１つの商品（注目商品）に相当する部分画像Ｓ２を切り出す（ＡｃｔＡ５）。

図６は、本実施形態における領域区分画像の一例を示す図である。図６に示す領域区分画像には、例えば４つの商品の画像Ｇ１，Ｇ２，Ｇ３，Ｇ４のそれぞれに対応する商品領域ＧＰ１，ＧＰ２，ＧＰ３，ＧＰ４と、商品領域以外の領域が含まれている。また、画像Ｇ１，Ｇ３には、商品に貼られた値引きシールを表すシール画像Ｄ１，Ｄ２のそれぞれに対応するシール領域ＤＰ１，ＤＰ２が含まれている。図７（Ａ）は、図６に示す領域区分画像に基づいて切り出された、商品領域ＧＰ３に対応する注目商品の部分画像の一例を示す図である。

マスク生成部４２は、部分画像Ｓ２に対して、予め登録済みの値引きシール画像に相当するパターン画像を探索する（ＡｃｔＡ６）。登録済みの値引きシールには、例えば店舗で使用される割引額、割引率などが異なる、あるいは形状やサイズが異なる複数種類の値引きシールが含まれるものとする。マスク生成部４２は、複数種類の値引きシールを検出するための予め登録されたパターン画像を部分画像から探索する。

図８（Ａ）（Ｂ）（Ｃ）は、値引きシールとフラグシールの一例を示す図である。図８（Ａ）（Ｃ）は、割引率が記載された値引きシールである。図８（Ｂ）は、割引額が記載された値引きシールである。図８（Ａ）（Ｂ）に示す値引きシールには、それぞれフラグシールＦ１，Ｆ２が付加されている。フラグシールＦ１，Ｆ２は、値引きシールから容易に切り離しが可能となるように形成されている。フラグシールＦ１，Ｆ２は、値引きシールが商品に貼り付けられる際に切り離され、例えば、値引きシールが貼り付けられた面と異なる面に貼り付けられる。すなわち、カメラ３０により商品の画像を撮影する際に、値引きシールあるいはフラグシールの何れかが貼り付けられた面を撮影すれば良いようにする。

図９は、商品に貼られた値引きシールとフラグシールの一例を示す図である。図９に示す値引きシールＤ３は、例えば顧客や従業員が認識しやすい位置に貼り付けられている。従業員は、貼り付け位置を意識することなく任意の位置に貼り付けることができる。フラグシールＦ３は、例えば値引きシールが貼り付けられた面と異なる面、例えばバーコードが記載された面に貼り付けられている。これにより、値引きシールＤ３あるいはフラグシールＦ３の何れかの面をカメラ３０によって撮影することで、部分画像から割引対象とする商品であることを識別することができる。

ここで、マスク生成部４２は、部分画像から値引きシール画像を検出した場合（ＡｃｔＡ７、Ｙｅｓ）、値引きフラグをオンすると共に、部分画像から検出されたパターン画像（値引きシール画像）に対応する値引き情報Ｓ５を出力する（ＡｃｔＡ８）。値引き情報Ｓ５は、例えば値引きシールに記載された値引き額や値引率を示す。また、マスク生成部４２は、部分画像から検出されたパターン画像（値引きシール画像）の検出位置に基づいて、値引きシールに対応する第１マスクパターンを生成する（ＡｃｔＡ９）。図７（Ｂ）は、図７（Ａ）に示す部分画像に対応する第１マスクパターンの一例を示している。

また、マスク生成部４２は、部分画像から値引きシール画像が探索されず（ＡｃｔＡ７、Ｎｏ）、フラグシールが探索された場合（ＡｃｔＡ１０、Ｙｅｓ）、ガイダンスフラグＳ４をオンする。ガイダンス生成部４４は、ガイダンスフラグがオンされることにより、ガイダンス情報Ｓ７を生成して出力する。ガイダンス生成部４４は、例えば店舗従業員や顧客に対するガイダンスを出力させる。ガイダンス生成部４４は、例えば値引きシールの面が撮影されるように商品を置き直して、再度、画像処理機能部３９による撮影をするように促すガイダンスを、タッチパネル２７における画面表示、スピーカ２４からの音声メッセージにより出力する。なお、最初の撮影において複数の商品が撮影されている場合には、置き直しの対象とする商品（フラグシールが検出された商品）を表す画像を、タッチパネル２７において表示するようにしても良い。

ここで、店舗従業員や顧客は、撮影範囲に載置された商品を置き直して、再度、商品の撮影（商品の登録処理）を指示することができる。プロセッサ２０は、例えばタッチパネル２７に対する操作によって、再度、商品の撮影が指示されると（ＡｃｔＡ１３、Ｙｅｓ）、カメラ３０に対して撮影を指示し、カメラ３０により撮影された画像データ（入力画像）に対して、前述と同様の処理を実行する（ＡｃｔＡ１〜）。一方、商品の撮影をしない指示が入力された場合（ＡｃｔＡ１３、Ｎｏ）、マスク生成部４２は、部分画像から検出されたパターン画像（フラグシール画像）の検出位置に基づいて、フラグシールに対応する第３マスクパターンを生成する（ＡｃｔＡ１４）。

なお、フラグシール画像が検出された場合に、商品の何れかの箇所に値引きシールが貼り付けられていると判別して値引きフラグをオンしても良い。ここで、再度、商品の撮影がされなかった場合には、値引き情報が得られないが、値引き処理の実行前に値引きフラグがオンであるが値引き情報が得られていない場合に、店舗従業員に確認を促すメッセージ（ガイダンス）を出力できるようにしても良い。

一方、マスク生成部４２は、部分画像からパターン画像（値引きシール画像、フラグシール画像）が探索されなかった場合には（ＡｃｔＡ１０、Ｎｏ）、実際にはマスク処理に使用しないダミーのマスクパターンを生成する（ＡｃｔＡ１１）。

さらに、マスク生成部４２は、部分画像のバーコード（第２パターン画像）に相当する領域を探索する。詳細マッチング部４９は、マスク生成部４２によりバーコード（第２パターン画像）に相当する領域（バーコード領域）Ｓ１７が検出された場合（ＡｃｔＡ１５、Ｙｅｓ）、バーコードが表す商品コードを読み取り、商品コードに対応する商品の商品情報Ｓ１６を出力する。

この場合、プロセッサ２０は、画像処理機能部３９により取得された商品情報に基づいて、商品の通常価格を取得する（ＡｃｔＡ２７）。プロセッサ２０は、値引きフラグがオンになっている場合（ＡｃｔＡ２８、Ｙｅｓ）、マスク生成部４２により出力された値引き情報Ｓ５に基づいて値引き処理を実行する（ＡｃｔＡ２９）。すなわち、プロセッサ２０は、値引き情報が示す値引率あるいは値引き額に応じた値引き後の商品の価格を算出し、この値引き後の価格を登録商品リストに記録する。なお、プロセッサ２０は、値引きフラグがオンになっていない場合（ＡｃｔＡ２８、Ｎｏ）、値引き処理をせずに商品情報を登録商品リストに記録する。プロセッサ２０は、領域区分画像に含まれる全ての部分画像についての認識処理が完了していなければ（ＡｃｔＡ３０、Ｎｏ）、前述と同様の処理を繰り返して実行する（ＡｃｔＡ３〜）。

一方、マスク生成部４２によりバーコード（第２パターン画像）に相当する領域が検出されなかった場合（ＡｃｔＡ１５、Ｎｏ）、第１のマスキング部４３は、マスク生成部４２により生成されたマスクパターンＳ３（第１マスクパターン、または第３マスクパターン）に基づいて、部分画像の一部を一様な画素値に変換したマスク部分画像Ｓ６を生成する（ＡｃｔＡ１７）。図７（Ｃ）は、図７（Ｂ）に示す第１マスクパターンに基づいて生成されたマスク部分画像の一例を示している。

局所特徴点抽出部４５は、第１のマスキング部４３により生成されたマスク部分画像から、特徴マッチングに用いる特徴点を示す局所特徴点情報Ｓ８を抽出する（ＡｃｔＡ１８）。特徴点マッチング部４６は、局所特徴点抽出部４５により部分画像から抽出された局所特徴点情報Ｓ８と、予め辞書登録済みの商品の局所特徴点情報Ｓ９とを照合する（ＡｃｔＡ１９）。特徴点マッチング部４６は、特徴量空間内の距離が所定の閾値以下となる特徴点対の数に基づいて特徴点対応率を算出して記録する。また、特徴点マッチング部４６は、以下の式に示す、局所特徴点群同士の相対位置関係を表す射影変換行列を生成して記録する。特徴点マッチング部４６は、辞書登録済みの複数の商品のそれぞれについて、部分画像の局所特徴点情報との照合を繰り返して実行する。

図１０には、部分画像の特徴点（領域）と辞書登録済みの商品の特徴点（領域）との対応を示す図である。図１０に示す照合の例では、入力画像との対応点の数：Ｃ（＝１９）、入力画像の特徴点総数：Ａ（＝２０）、特徴点対応率：Ｃ／Ａ（＝１９／２０）として算出される。

特徴点マッチング部４６は、辞書登録済みの複数の商品のそれぞれについて照合することで得られた、各部分画像についての特徴点対応率に基づいて、その上位Ｎ位（Ｎ：認識候補とする所定の商品数）までの商品の商品情報Ｓ１１と、その各商品に対応する射影変換行列Ｓ１０とを決定する（ＡｃｔＡ２０）。

射影変換部４７は、Ｎ位までの商品情報から１つを選択し（ＡｃｔＡ２１）、この商品情報に対応する商品の登録画像Ｓ１２を、特徴点マッチング部４６により生成された射影変換行列にもとづいて射影変換し、射影登録画像Ｓ１３を生成する（ＡｃｔＡ２２）。以下に、射影登録画像を生成する射影変換行列（３×３行列）を用いた変換式の一例を示す。ただし、（ｘ，ｙ）：射影変換前の特徴点の画素位置座標、（ｘ'，ｙ'）：射影変換後の特徴点の画素位置座標である。

図７（Ｄ）には、商品の登録画像の一例を示している。図７（Ｄ）に示す商品の登録画像は、射影変換により、図７（Ｅ）に示すように変換される。すなわち、入力画像（部分画像）と同じ向き、位置になった射影登録画像に変換される。

次に、第２のマスキング部４８は、マスク生成部４２により生成されたマスクパターンＳ３に基づいて、射影登録画像の一部を一様な画素値に変換してマスク登録画像Ｓ１４を生成する（ＡｃｔＡ２３）。図７（Ｆ）は、図７（Ｅ）に示す射影登録画像に対するシール領域に相当する領域が空白になったマスク登録画像の一例を示している。

詳細マッチング部４９は、マスク部分画像Ｓ６とマスク登録画像Ｓ１４の類似度を、例えば以下の画像間の類似度算出式に基づいて算出する（ＡｃｔＡ２４）。ただし、Ｓ：画像Ｐと画像Ｑの類似度、ｘ，ｙ：画素位置の座標、Ｐ（ｘ，ｙ）：座標（ｘ，ｙ）における画像Ｐの画素値、Ｑ（ｘ，ｙ）：座標（ｘ，ｙ）における画像Ｑの画素値である。また、マスク部分画像とマスク登録画像がカラー画像の場合は、色成分ごとに類似度を算出するものとする。

以下同様にして、Ｎ位までの全ての商品情報について、類似度を算出するための処理を繰り返す（ＡｃｔＡ２１〜Ａ２５）。

詳細マッチング部４９は、Ｎ位までの全ての商品情報に対応する類似度を算出すると、類似度が最大であり、かつ、予め設定された所定の判定閾値Ｓ１５以上である商品の商品情報Ｓ１６を特定して出力する（ＡｃｔＡ２６）。

プロセッサ２０は、値引きフラグがオンになっている場合（ＡｃｔＡ２８、Ｙｅｓ）、前述と同様にして、マスク生成部４２により出力された値引き情報Ｓ５に基づいて値引き処理を実行する（ＡｃｔＡ２９）。プロセッサ２０は、値引きフラグがオンになっていない場合（ＡｃｔＡ２８、Ｎｏ）、値引き処理をしない。プロセッサ２０は、領域区分画像に含まれる全ての部分画像についての認識処理が完了していなければ（ＡｃｔＡ３０、Ｎｏ）、前述と同様の処理を繰り返して実行する（ＡｃｔＡ３〜）。

こうして、本実施形態におけるＰＯＳ端末１１は、カメラ３０により撮影された商品の画像をもとに、商品に値引きシールが貼られていた場合には、値引きシールが示す割引き（値引き率や値引き額）に応じた割引き処理をした上で、顧客が購入しようとする商品として登録商品リストに記録することができる。

本実施形態における画像処理機能部３９では、カメラ３０により撮影された１枚の入力画像をもとに、商品に付されたバーコードあるいはパッケージ画像をもとにした商品の認識と、値引きシールに応じた割引き処理が実行可能となるので、商品を登録するチェックアウト操作を簡単にすることができる。また、複数の商品を撮影することで、値引きシールが貼り付けられた商品について適切に割引き処理をした上で、各処理を一括して登録することができる。また、画像処理機能部３９では、バーコードあるいは値引きシールが貼られた領域を除く商品のパッケージ画像と登録商品の画像との照合により商品を識別することができる。従って、値引きシールが商品の何れに貼られていても商品を認識することが可能となり、店舗スタッフが値引きシールを貼り付ける際に貼り付け位置を意識する必要が無いため余計な神経を使わずに済む。また、値引きシールが貼られている商品の面が撮影されない場合でも、フラグシールを検出できれば、値引きシールの存在を顧客あるいは店舗従業員に通知できるので、顧客が値引きを受け損なう危険を抑えられる。こうして、値引きシールが貼られた商品について、作業負担を軽減して確実に値引き処理することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１…ＰＯＳ端末、３０…カメラ、４０…領域識別部、４１…領域切出し部、４２…マスク生成部、４３…第１のマスキング部、４４…ガイダンス生成部、４５…局所特徴点抽出部、４６…特徴点マッチング部、４７…射影変換部、４８…第２のマスキング部、４９…詳細マッチング部。

Claims (5)

1. 入力画像から商品に対応する部分画像を切出す領域切出し手段と、
   前記部分画像から第１パターン画像が探索された場合に、前記第１パターン画像をもとに値引き情報を生成すると共に、前記第１パターン画像が検出された位置に基づいて第１マスクパターンを生成するマスク生成手段と、
   前記部分画像に対して前記第１マスクパターンによりマスキングしたマスク画像と、複数の商品にそれぞれ対応する登録画像とのマッチングにより、前記部分画像に対応する商品を特定して、前記部分画像に対応する商品情報を取得する商品識別手段と、
   前記商品情報が示す前記商品の価格と前記値引き情報をもとに値引き処理をする値引き処理手段と
   を有する画像処理装置。
2. 前記部分画像から第２パターン画像が探索された場合に、前記第２パターン画像に対応する商品情報を取得する商品情報取得手段とをさらに有し、
   前記商品識別手段は、前記部分画像から前記第２パターン画像が探索されない場合に、前記マスク画像と前記登録画像とのマッチングに基づいて、前記部分画像に対応する商品情報を取得する請求項１記載の画像処理装置。
3. 前記マスク生成手段は、前記部分画像から前記第１パターン画像が探索されず、第３パターン画像が探索された場合に、前記第３パターン画像が検出された位置に基づいて第３マスクパターンを生成し、
   前記商品識別手段は、前記部分画像から前記第２パターン画像が探索されない場合に、前記部分画像に対して前記第３マスクパターンによりマスキングしたマスク画像と、複数の商品にそれぞれ対応する登録画像とのマッチングにより、前記部分画像に対応する商品を特定して、前記部分画像に対応する商品情報を取得する請求項２記載の画像処理装置。
4. 前記領域切出し手段は、前記入力画像から複数の商品にそれぞれ対応する複数の部分画像を切り出し、
   前記値引き処理手段は、前記マスク生成手段により前記第１パターン画像が探索された部分画像に対応する前記商品情報について値引き処理をする請求項１乃至請求項３の何れかに記載の画像処理装置。
5. 前記商品識別手段は、
   前記第１マスクパターンに基づいて、前記部分画像の一部を一様な画素値に変換してマスク部分画像を生成する第１のマスキング部と、
   前記マスク部分画像に対して局所特徴点情報を抽出する局所特徴点抽出部と、
   前記局所特徴点情報と、予め辞書登録済みの商品画像の局所特徴点情報とを照合し、両者間の局所特徴点の対応状態に基づいて、両者の相対位置関係を表現する射影変換行列と、前記部分画像の内容に対する候補商品の商品情報とを出力する特徴点マッチング部と、
   前記候補商品の商品情報に対応する登録画像を読み込み、前記登録画像を前記射影変換行列に基づいて射影変換した射影登録画像を生成する射影変換部と、
   前記第１マスクパターンに基づいて、前記射影登録画像の一部を一様な画素値に変換してマスク登録画像を生成する第２のマスキング部と、
   前記マスク部分画像と前記マスク登録画像の類似度を算出し、前記類似度と所定の判定閾値とに基づいて、前記部分画像に対応する商品情報を出力する詳細マッチング部とを有する請求項１記載の画像処理装置。