JP2016126515A - オブジェクト認識スキャナシステム - Google Patents

Abstract

【課題】被写体を３次元的に認識でき、被写体の認識精度を向上させたオブジェクト認識スキャナシステムを提供する。【解決手段】光学的伝達関数（OTF）を変調させる光波面変調素子３６０を含む深度拡張光学系３３０、この光学系を通過した被写体像６００を撮像する撮像素子３４０及び撮像素子からの被写体分散画像信号より分散のない２次元画像信号を生成する変換部３５０を少なくとも有する撮像装置３１０が２個以上組み込まれた画像取得手段と、各撮像装置から取得した２次元画像信号を用いて被写体像６００の３次元画像信号を生成する３次元画像生成手段とを備える。【選択図】図４

Description

本発明は、ＰＯＳ端末として好適に用いられるオブジェクト認識スキャナシステムに関する。

スーパーマーケットなどの商品販売の現場では、ＰＯＳ（Point Of Sale）端末が広く導入されている。
従来のＰＯＳシステムの端末は、バーコードスキャナを備え、商品に付されたバーコードをスキャンし、商品コードを取得して、この取得した商品コードで商品情報ファイルを検索し、商品名や販売価格などの商品情報を取得する。

もともと、１次元バーコードを読み取るところから始まったＰＯＳシステムの端末は、その後、２次元バーコードも読み取れる端末へと進歩してきた。

更に近年では、バーコードがついてない野菜や果物、或いはお惣菜等の商品の外観を表した２次元画像信号から抽出した２次元特徴量（外観形状、色合い、模様、凹凸具合等の表面情報をパラメータで表したもの）と、辞書データに登録された基準商品（認識対象物）の特徴量と照合することによって、その商品が複数の基準商品のいずれかに属するかを判定するオブジェクト認識スキャナシステムが知られている（特許文献１）。この従来のオブジェクト認識スキャナシステムにおいて、２次元画像信号は、通常、オブジェクト認識スキャナから５０ｍｍ〜５００ｍｍ程度離れたところにある商品を、１個の撮像装置により生成されている。

しかしながら、従来のオブジェクト認識スキャナシステムでは、辞書データにピントが合った状態の基準商品の特徴量のデータが登録されている場合、この辞書データに登録された基準商品の特徴量と、ピント位置からずれた位置にある商品を撮像して得られた２次元画像信号から抽出した２次元特徴量とを照合する際、認識精度が低いという問題があった。

そこで、ピントが合った状態の商品の２次元画像信号を生成するために、撮像装置にオートフォーカス機能を持たせることが考えられる。しかし、そもそも、奥行き方向にある程度の幅があるものでは、手前側にはピントが合っているものの奥側はピントが合わないため、さほど認識レベルの向上は見られない。さらに、レンズの特性として近くにあるものの方がピント範囲が狭いため、距離により、商品を撮像して得られた２次元画像信号から抽出した２次元特徴量と、辞書データに登録された基準商品の特徴量とのマッチングが良くないといった現象があった。

一方、オブジェクトを取り込む光学系に、光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子を組み込み、それを変換係数演算手段から得られた変換係数によって、画像信号の変換を行うことにより、被写界深度を拡張する撮像装置が知られている（特許文献２）。

この被写界深度を拡張する撮像装置を上述した従来のオブジェクト認識スキャナシステムに適用すれば、被写界深度が深い（ピントが合った状態の商品の）２次元画像信号を生成することができる。
しかしながら、２次元画像信号では、生成された２次元画像信号に表された商品の大きさは、商品と撮像素子との距離に起因するものなのか、商品自体の大きさに起因するものなのか解らないため、２次元画像信号に表された商品の大きさによって区別できない問題がある。そのため、同じ商品でも大きさの違いでコストが変わってくるような商品を、商品の大きさによって区別できなかった。

すなわち、従来技術では、被写界深度が深い２次元画像信号を生成し、この２次元画像信号から２次元的な情報までしか抽出できないことから、形状・色合い等の商品の２次元特徴量による判断でしか商品を認識できず、商品の認識精度が低いという問題があった。

特開２０１４−３２５３９号公報 特許第４６６３７３７号

本発明の課題は、被写体を３次元的に認識でき、被写体の認識精度を向上させたオブジェクト認識スキャナシステムを提供することを目的とする。

本発明者らは、上記課題を解決すべく鋭意検討を重ねた結果、本発明を完成するに至った。すなわち、本発明は、以下のような構成を有する。
（１）光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子を含む光学系、この光学系を通過した被写体像を撮像する撮像素子、および前記撮像素子からの被写体分散画像信号より分散のない２次元画像信号を生成する変換部を少なくとも有する撮像装置が２個以上組み込まれた画像取得手段と、各撮像装置から取得した２次元画像信号を用いて前記被写体像の３次元画像信号を生成する３次元画像生成手段とを備えることを特徴とするオブジェクト認識スキャナシステム。
（２）前記画像取得手段は、前記撮像装置を２個有し、前記３次元画像生成手段は、各撮像装置から取得した２次元画像信号を用いてステレオ画像処理をし、前記被写体像の３次元画像信号を生成する前記（１）に記載のオブジェクト認識スキャナシステム。
（３）前記３次元画像生成手段により生成された３次元画像信号に基づくデータを、認識対象物毎にその認識対象物の３次元構造情報を表わす３次元モデルデータが保存された３次元構造認識辞書ファイルの前記３次元モデルデータと照合させることにより、前記被写体像がいずれの認識対象物に属するか判定する判定手段を備える前記（１）または（２）に記載のオブジェクト認識スキャナシステム。
（４）前記被写体像が認識コードであり、前記３次元画像生成手段により生成された３次元画像信号に基づいて、前記認識コードの２次元外形を復元した認識コード復元画像信号を生成する復元手段と、前記復元手段により復元された認識コード復元画像信号から読み取られたデータを、認識対象物毎にその認識対象物の識別情報を表す識別情報データが保存された識別情報辞書ファイルの前記識別情報データと照合させることにより、前記被写体像がいずれの認識対象物に属するか判定する判定手段と、を備える前記（１）または（２）に記載のオブジェクト認識スキャナシステム。
（５）前記認識コードは、１次元バーコードまたは２次元バーコードである前記（４）に記載のオブジェクト認識スキャナシステム。

本発明によれば、被写体を３次元的に認識でき、被写体の認識精度を向上させることができる。そのため、例えば、同じ商品でも大きさ違いでコストが変わってくるような商品において、今までは商品までの距離による写った画像の大きさが異なるのか、商品の大きさによって異なっているのかが解らなかったものが、判別できるようになる。

本発明の一実施形態に係るオブジェクト認識スキャナシステムにおけるスキャナ装置とＰＯＳ端末とのハードウェア構成を示すブロック図である。 本発明の一実施形態に係るオブジェクト認識スキャナシステムの機能を説明するためのブロック図である。 本発明の一実施形態における撮像装置の構成を示す概略説明図である。 本発明の一実施形態における画像取得手段を示す外観斜視図である。 本発明の一実施形態における３次元構造認識辞書ファイルに保存された認識対象物の３次元構造情報を表わす３次元モデルデータの構造を示す模式図である。 本発明の一実施形態に係るオブジェクト認識スキャナシステムのＣＰＵが実行する情報処理手順の要部を示す流れ図である。 図７のステップＳＴ６で示す認識処理の具体的な手順を示す流れ図である。 本発明の他の実施形態に係るオブジェクト認識スキャナシステムの機能を説明するためのブロック図である。 本発明の他の実施形態に係るオブジェクト認識スキャナシステムのＣＰＵが実行する情報処理手順の要部を示す流れ図である。 図９のステップＳＴ５で示すステレオ画像処理およびステップＳＴ８で示す復元処理を示す流れ図である。 図９のステップＳＴ６ａで示す認識処理の具体的な手順を示す流れ図である。

〔本発明の一実施形態〕
以下、本発明の一実施形態であるオブジェクト認識スキャナシステムについて図面を参照して詳細に説明する。

オブジェクト認識スキャナシステムは、被写体（顧客が買い上げる商品、以下、単に商品という場合もある）を３次元的に認識し、その商品がいずれかの認識対象物（基準商品）に属するか判定するシステムである。すなわち、商品から被写界深度が深い２次元画像信号を複数生成し、これらの２次元画像信号を用いて３次元画像信号を生成し、この３次元画像信号に基づくデータを３次元構造認識辞書ファイルの３次元モデルデータと照合することにより、商品がいずれかの基準商品に属するか判定するシステムである。
このようにオブジェクト認識スキャナシステムでは、被写界深度が深い２次元画像信号を用いて３次元画像信号を生成するので、商品の大きさや傷の深さなどの３次元的（立体的）な情報を得ることができる。さらに、３次元画像信号に基づくデータを３次元構造認識辞書ファイルの３次元モデルデータと照合することにより、商品がいずれかの基準商品に属するか判定するので、２次元画像信号から抽出した２次元的な情報（外観特徴量）のみを用いて、その商品が複数の基準商品のいずれかに属するかを判定する従来のＰＯＳシステムの端末を用いる場合よりも、商品と基準商品とのマッチング精度が高い。そのため、例えば、同じ商品でも大きさの違いでコストが変わってくるような商品を、商品の大きさによって区別することができる。

オブジェクト認識スキャナシステムは、図１に示すように、顧客が買い上げる商品を登録する登録部としてのスキャナ装置１０と、顧客の代金支払いを処理する決済部としてのＰＯＳ端末２０とを含む。ＰＯＳ端末２０は、通常、レジ台の上にドロワ３０を介して設置される。スキャナ装置１０とＰＯＳ端末２０とは、図示しない通信ケーブルによって電気的に接続される。

スキャナ装置１０は、キーボード１１、タッチパネル１２、客用ディスプレイ１３および後述する画像取得手段３００を備える。
ＰＯＳ端末２０は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。

図１は、スキャナ装置１０とＰＯＳ端末２０とのハードウェア構成を示すブロック図である。スキャナ装置１０は、スキャナ部１０１と操作・表示部１０２とを備える。スキャナ部１０１は、制御部本体としてのＣＰＵ１１１を具備しており、このＣＰＵ１１１に、アドレスバス，データバス等のバスライン１１２を介して、ＲＯＭ１１３とＲＡＭ１１４とが接続される。ＲＯＭ１１３には、ＣＰＵ１１１によって実行されるプログラムが記憶される。

バスライン１１２には、入出力回路（不図示）を介して画像取得手段３００が接続され、接続インターフェース１１５及び接続インターフェース１１６を介して、キーボード１１、タッチパネル１２及び客用ディスプレイ１３が、バスライン１１２に接続される。タッチパネル１２は、例えば液晶ディスプレイを用いたパネル表示部１２１であり、この表示部の画面はタッチパネルセンサ１２２として機能している。

接続インターフェース１１６と、キーボード１１、タッチパネル１２及び客用ディスプレイ１３とは、操作・表示部１０２を構成する。操作・表示部１０２を構成する各部は、スキャナ部１０１のＣＰＵ１１１のみならず、後述するＰＯＳ端末２０のＣＰＵ２０１によってもコントロールされる。

ＰＯＳ端末２０も、制御部本体としてＣＰＵ２０１を搭載する。そしてこのＣＰＵ２０１に、バスライン２０２を介して、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ装置２０５、通信インターフェース２０６及び接続インターフェース２０７が接続される。また、バスライン２０２には、キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ３０の各部も、それぞれ入出力回路（不図示）を介して接続される。

通信インターフェース２０６は、ＬＡＮ等のネットワークを介して、店舗の中枢を担う店舗サーバ４０と接続される。この接続により、ＰＯＳ端末２０は、店舗サーバ４０とデータの送受信が可能となる。かくしてＰＯＳ端末２０は、店舗サーバ４０が有する３次元構造認識辞書ファイル５０や商品データファイル（不図示）等にアクセスして、各ファイルに保存されている３次元モデルデータを読み込んだり、３次元モデルデータを更新（追加、変更、削除）したりする。

接続インターフェース２０７は、通信ケーブルを介して、スキャナ装置１０の両接続インターフェース１１５，１１６と接続される。この接続により、ＰＯＳ端末２０は、スキャナ装置１０のスキャナ部１０１で読み取られた情報を受信する。また、ＰＯＳ端末２０は、スキャナ装置１０の操作・表示部１０２を構成するキーボード１１、タッチパネル１２、客用ディスプレイ１３との間でデータ信号を送受信する。

図２は、スキャナ装置１０とＰＯＳ端末２０とによって構成されるオブジェクト認識スキャナシステム１の機能を説明するためのブロック図である。
オブジェクト認識スキャナシステム１は、画像取得手段３００と、３次元画像生成手段４００と、判定手段５００とを備える。

（画像取得手段３００）
画像取得手段３００は、撮像装置３１０ａ，３１０ｂ（以下、まとめて撮像装置３１０という場合がある）で取得した被写体６００（例えば、商品等）の被写界深度が深い（高繊細な）２次元画像信号を３次元画像生成手段４００に供給するものであり、図３に示すように、第１の撮像装置３１０ａと、第２の撮像装置３１０ｂと、光源部３２０とを有する。
２次元画像信号とは、被写体６００のフレーム画像、２次元特徴量（外観形状、色合い、模様、凹凸具合等の表面情報をパラメータで表したもの）を含む。

撮像装置３１０は、図４に示すように、光学系３３０と、この光学系３３０を通過した被写体６００を撮像する撮像素子３４０と、撮像素子３４０からの被写体分散画像信号より分散のない２次元画像信号を生成する変換部３５０とを有する。

光学系３３０は、被写体６００を撮影した像を撮像素子３４０に供給するものである。具体的に、光学系３３０は、物体側レンズ３３１と、結像レンズ３３２と、この物体側レンズ３３１および結像レンズ３３２の間に配置された光波面変調素子３６０とを有する。また、物体側レンズ３３１および結像レンズ３３２の間には図示しない絞りが配置される。

光波面変調素子３６０は、光学的伝達関数（ＯＴＦ）を変調させるもの、すなわち、結像レンズ３３２による撮像素子３４０の受光面への結像の波面を変形（変調）させるものである。光波面変調素子３６０としては、厚みが変化する光学素子（例えば、３次元的曲面を有する位相板）；屈折率が変化する光学素子（例えば、屈折率分布型波面変調レンズ）；レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（例えば、波面変調ハイブリッドレンズ）；光の位相分布を変調可能な液晶素子（例えば、液晶空間位相変調素子）などが挙げられる。

撮像素子３４０は、光学系３３０を通過し、その受光面に結像された被写体６００を電気信号に変換して被写体分散画像信号を生成するものであり、例えば、ＣＣＤセンサ、ＣＭＯＳセンサなどが挙げられる。

変換部３５０は、撮像素子３４０からの被写体分散画像信号に対してデジタル処理を施すことにより、被写体分散画像信号より分散のない２次元画像信号を生成するもの、言い換えると、光波面変調素子３６０により深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している被写体分散画像信号（撮像素子３４０上ではピントのどこにも合わない画像）からピントの合った画像に復元するものであるものであり、深度拡張光学系システム（ＤＥＯＳ：Depth Expantion Optical System：登録商標）で用いられる公知の画像処理装置と同様の構成であればよい。

このような撮像装置３１０としては、例えば、特許第5198052号公報、特許第5197784号公報、特許第4948990号公報、特許第4948967号公報、特許第4916869号公報、特許第4916862号公報、特許第4916853号公報、特許第4818957号公報、特許第4818956号公報、特許第4813147号公報、特許第4812541号公報、特許第4777177号公報、特許第4749985号公報、特許第4749984号公報、特許第4749959号公報、特許第4722748号公報、特許第4712631号公報、特許第4693720号公報、特許第4663737号公報、特許第4364847号公報などに記載の撮像装置を用いることができる。

光源部３２０としては、商品や使用環境などに応じて適宜調整すればよく、例えば、発光ダイオード（ＬＥＤ）などが挙げられる。

なお、オブジェクト認識スキャナシステム１では、撮像装置３１０を２つ有するが、本発明はこれに限定されず、３つ以上の複数の撮像装置を有してもよい。

（３次元画像生成手段４００）
３次元画像生成手段４００は、各撮像装置３１０から取得した２次元画像信号を用いてステレオ画像処理による３次元計測を行い、被写体６００の３次元画像信号を生成する。
３次元画像信号とは、被写体６００のフレーム画像、３次元特徴量（サイズ情報、カラー情報、テクスチャ情報、形状情報、視差情報、距離情報、３次元位置情報、３次元計測の信頼性を示す評価値など）の特徴量を含む。

ステレオ画像処理には、レンズ歪み補正処理・平行化処理等のステレオ較正処理や；ノイズ除去を行うためのローパスフィルタ処理等の前処理や；エッジ検出等の特徴量演算処理がある。さらに、正規化相互相関や差分絶対値和等のブロックマッチングやスペース・スウィープ法等の各種の相関演算処理を用いてステレオ画像間の対応点検索を行い、視差情報を取得するステレオマッチング処理；ランクフィルタ処理やラベリング等により特異点の除去を行う後処理；視差情報を用いて距離情報を演算する距離計算処理などがある。処理の途中で得られる情報、例えばステレオマッチング処理で対応点検索を行った場合の対応点の画像上の座標などを出力することもできる。３次元計測にステレオ撮像を用いることで、撮像画像の各画素の２次元画像座標と、計測した３次元情報との対応付けが容易に行える。

（判定手段５１０）
判定手段５１０は、３次元画像生成手段４００により生成された３次元画像信号に基づくデータを、３次元構造認識辞書ファイル５０の後述する３次元モデルデータと照合させることにより、被写体６００がいずれの基準商品に属するか判定する。
３次元画像信号に基づくデータとは、上述した３次元画像信号の特徴量のうち、被写体６００のサイズ情報と、それ以外から選択される少なくとも１つとを含む。被写体６００のサイズ情報以外から選択される少なくとも１つは、被写体６００の外観特徴などに応じて適宜選択すればよい。

被写体６００がいずれの基準商品に属するか判定するには、例えば、３次元画像信号に基づくデータを３次元モデルデータと順次照合して、３次元モデルデータの特徴量毎に類似度を算出し、その算出した類似度の数値が最も高い基準商品に被写体６００が属すると判定すればよい。
類似度の算出方法は、特に限定されるものではなく、例えば、ヒストグラムに基づく方法、変換に基づく方法、位相に基づく方法、見かけに基づく方法などの手法を組合わせた検索エンジンを用いて類似度を算出してもよい。類似度は、例えば、一致する度合いを示す一致度（一致率）や、どの程度相関するかを示す相関値等であってもよい。すなわち類似度は、被写体６００の３次元画像信号に基づくデータと３次元構造認識辞書ファイル５０の３次元モデルデータとを基に得られる値であればよい。

図５は、３次元構造認識辞書ファイル５０に保存された基準商品の３次元構造情報を表わす３次元モデルデータの構造を示す模式図である。例えば、図５に示すように、３次元構造認識辞書ファイル５０には、基準商品毎に、その基準商品を識別する商品ＩＤ及び商品名と関連付けて、上述したように複数の特徴量からなる３次元モデルデータが保存される。
３次元モデルデータは、対応する商品ＩＤで識別される基準商品の３次元構造情報（サイズ情報、カラー情報、テクスチャ情報、形状情報、視差情報、距離情報、３次元位置情報、３次元計測の信頼性を示す評価値等）である特徴量をパラメータで表わしたもの(特徴量データ)で、１つの基準商品に対し、その基準商品を様々な方向から見たときの特徴量データ０〜Ｎがそれぞれ保存される。なお、１つの基準商品に対する特徴量データの数（Ｎ＋１）は、固定ではない。また、特徴量データの数（Ｎ＋１）は基準商品によって異なる。店舗で販売される各商品には、固有の商品ＩＤが割当てられている。商品データファイルには、各商品の商品ＩＤと関連付けて、商品名、単価、プリセット画像等の商品情報が保存されている。
これにより、例えば、オブジェクト認識スキャナシステム１を用いて被写体６００がいずれかの基準商品に属するか判定することで、その基準商品の商品ＩＤを取得し、商品データファイルにアクセスすることで、その基準商品の商品情報を読み込むことができる。

図６は、オブジェクト認識スキャナシステム１のＣＰＵ（ＣＰＵ１１１、ＣＰＵ２０１）が実行する情報処理手順の要部を示す流れ図である。この情報処理を実行するためのプログラムは、ＰＯＳ端末２０のＲＯＭ２０３に格納される。このプログラムの少なくとも一部がスキャナ装置１０のＲＯＭ１１３に格納されていてもよい。

図６の処理が開始すると、ＣＰＵ（ＣＰＵ１１１またはＣＰＵ２０１：以下同）は、画像取得手段３００に対して撮像オン信号を出力する（ＳＴ１）。例えば、ＣＰＵ２０１がＣＰＵ１１１に対して撮像オンを指令し、この指令を受けたＣＰＵ１１１が、画像取得手段３００に対して撮像オン信号を出力する。この撮像オン信号により、第１の撮像装置３１０ａおよび第２の撮像装置３１０ｂが撮像領域の撮像を開始する。第１の撮像装置３１０ａおよび第２の撮像装置３１０ｂで撮像された撮像領域のフレーム画像は、ＲＡＭ１１４に順次保存される。

ＣＰＵは、ＲＡＭ１１４に保存されたフレーム画像のデータを取り込む（ＳＴ２）。そしてＣＰＵは、このフレーム画像から被写体６００が検出されるか否かを確認する（ＳＴ３）。具体的には、ＣＰＵは、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵは、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、ＣＰＵは、その輪郭内の画像を被写体６００とみなす。

フレーム画像から被写体６００が検出されない場合（ＳＴ３にてＮＯ）、ＣＰＵは、ＲＡＭ１１４から次のフレーム画像を取り込む（ＳＴ２）。そしてＣＰＵは、このフレーム画像から被写体６００が検出されるか否かを確認する（ＳＴ３）。

フレーム画像から被写体６００が検出された場合には（ＳＴ３にてＹＥＳ）、ＣＰＵは、第１の撮像装置３１０ａおよび第２の撮像装置３１０ｂが撮像したフレーム画像それぞれについて、その輪郭内の画像から被写体６００の形状、表面の色合い、模様、凹凸状況等の外観上の２次元特徴量を抽出する（ＳＴ４）。抽出された２次元特徴量のデータは、ＲＡＭ２０４のワークエリアに一時的に格納される。

２次元特徴量を抽出し終えると、ＣＰＵは、ステレオ画像処理による３次元計測を行う（ＳＴ５：３次元画像生成手段４００）。ＣＰＵは、３次元情報として被写体６００の画像上の各画素に対応する３次元座標を取得し、それをもとに被写体６００の３次元位置やサイズ情報（高さ・幅）や、３次元情報の信頼性などを被写体６００の３次元特徴量として算出する。

被写体６００の３次元位置は、例えば、被写体６００の画像上の各画素に対応する３次元座標の集合において、その重心や平均値を算出し用いても良いし、撮像画像において床面領域が認識できており、被写体６００が床面に接している画素、すなわち足元の画素が認識できる場合には、その画素に対応する３次元座標を取っても良い。また、３次元座標のうち、光軸方向の成分のみを抽出し、これをカメラ（撮像装置３１０）からの距離として３次元座標の代わりに用いても良い。被写体６００のサイズ情報（高さや幅）は被写体６００の撮像装置３１０からの距離と被写体６００の画像上の高さや幅を用いることで算出することができる。ステレオカメラ（第１の撮像装置３１０ａおよび第２の撮像装置３１０ｂ）が床面に対し俯角を持って設置されている場合は、その俯角情報を用いて３次元座標の座標系を俯角が無くなるように変換しても良い。この場合、被写体６００の高さや幅をより厳密に計測できる。３次元情報の信頼性は、ステレオ画像処理により計測した３次元座標の評価値を参照して、例えば被写体６００の画像上の総画素数に対する、評価値の高い３次元座標を持つ画素数の割合などから算出することができる。

ステレオ画像処理による３次元計測をし終えると、ＣＰＵは、図７の流れ図により具体的に示される手順の認識処理を実行する（ＳＴ６：判定手段５００）。先ず、ＣＰＵは、店舗サーバ４０の３次元構造認識辞書ファイル５０を検索する（ＳＴ６１）。そしてＣＰＵは、３次元構造認識辞書ファイル５０から１商品（基準商品）の３次元モデルデータ（商品ＩＤ、商品名、複数の特徴量データ）を読み込む（ＳＴ６２）。

３次元モデルデータを読み込めたならば、ＣＰＵは、ステップＳＴ６の処理で抽出された３次元画像信号に基づくデータを３次元モデルデータが、当該３次元モデルデータに対してどの程度類似しているかを示す類似度を算出する（ＳＴ６３）。類似度は、値が大きいほど類似率が高いと言える。

ＣＰＵは、類似度が所定の基準閾値より高いか否かを確認する（ＳＴ６４）。基準閾値は、登録商品候補として残すべき基準商品の類似度の下限である。類似度の上限値を“１００”とした場合、基準閾値は、例えばその１／５の“２０”と設定する。類似度が基準閾値より高いレベルにある場合（ＳＴ６４にてＹＥＳ）、ＣＰＵは、当該３次元モデルデータの商品ＩＤ及び商品名と、ステップＳＴ５の処理で抽出された３次元モデルデータと、ステップＳＴ６３の処理で算出された類似度とを、登録商品候補としてＲＡＭ２０４の所定エリアに格納する（ＳＴ６５）。これに対し、類似度が基準閾値を超えない場合には（ＳＴ６４にてＮＯ）、ＣＰＵは、ステップＳＴ６５の処理を実行しない。

しかる後、ＣＰＵは、認識辞書ファイル５０に未処理の３次元モデルデータが存在するか否かを確認する（ＳＴ６６）。存在する場合（ＳＴ６６にてＹＥＳ）、ＣＰＵは、ステップＳＴ６２の処理に戻る。すなわちＣＰＵは、３次元構造認識辞書ファイル５０から未処理の３次元モデルデータをさらに読み込んで、ステップＳＴ６３〜ＳＴ６６の処理を実行する。

こうして、３次元構造認識辞書ファイル５０に保存されている全ての商品の３次元モデルデータについて、ステップＳＴ６３〜ＳＴ６６の処理が実行されると（ＳＴ６６にてＮＯ）、認識処理が終了する。

認識処理が終了すると、ＣＰＵは、登録商品候補となる基準商品のなかで類似度が最も高いものを、登録商品として自動的に決定する（ＳＴ７）。

このように、オブジェクト認識スキャナシステムにおいては、ユーザがスキャナ装置１０の読取窓に被写体６００をかざすと、画像取得手段３００によってこの被写体６００が撮影される。そして、この被写体６００の画像から抽出される３次元画像信号に基づくデータと、３次元構造認識辞書ファイル５０に登録されている各基準商品の３次元モデルデータとから、基準商品毎に特徴量の類似度が算出される。そして、類似度の最も高い登録商品候補が、登録商品として決定される。そうすると、オブジェクト認識スキャナシステムでは、この選択された基準商品の販売データが登録処理される。

〔他の実施形態〕
本発明の他の実施形態に係るオブジェクト認識スキャナシステムについて、図面を参照して詳細に説明する。

図８は、スキャナ装置１０とＰＯＳ端末２０とによって構成されるオブジェクト認識スキャナシステムの機能を説明するためのブロック図である。図８において、図２に示すオブジェクト認識スキャナシステムを構成する各機能と同一のものには同一の符号を付して説明を省略する。

オブジェクト認識スキャナシステムは、図８に示すように、画像取得手段３００と、３次元画像生成手段４００と、復元手段７００と、判定手段５１０とを備える。すなわち、オブジェクト認識スキャナシステム２は、復元手段７００を有し、判定手段５００の代わりに判定手段５１０を用い、３次元構造認識辞書ファイル５０の代わりに識別情報辞書ファイル５１を用いる他はオブジェクト認識スキャナシステム１と同様である。

オブジェクト認識スキャナシステムは、商品に付された被写体６００（以下、認識コード６００という）を読み取り、その商品がいずれかの認識対象物（基準商品）に属するか判定するシステムである。すなわち、商品に付された認識コード６００から被写界深度が深い２次元画像信号を複数生成し、これらの２次元画像信号を用いて３次元画像信号を生成し、この３次元画像信号に基づいて２次元の認識コード復元画像信号を生成（復元）し、この認識コード復元画像信号と識別情報辞書ファイル５１の識別情報データとを照合することにより、認識コード６００が付された商品がいずれかの基準商品に属するか判定するシステムである。
このようにオブジェクト認識スキャナシステムでは、認識コード復元画像信号は被写界深度が深い２次元画像信号を用いて復元されるので、被写界深度が浅い２次元画像信号を用いて復元された認識コード復元画像信号を用いる場合よりも、認識コード６００と、識別情報辞書ファイル５１にあらかじめ登録された識別情報データとのマッチング精度が高い。
また、オブジェクト認識スキャナシステムでは、３次元画像信号に基づいて２次元の認識コード復元画像信号を生成（復元）するので、例えば、認識コード６００が商品の形状等に伴い歪んだ状態で商品に付されていても、認識コード６００の読み取り精度が高い。そのため、商品に付された認識コード６００から、商品名や販売価格などの商品情報を、バーコードスキャナを備え、レジスタに対してある程度垂直にならないと読み込めなかった従来のＰＯＳシステムの端末を用いる場合よりも、精度よく取得することができる。

認識コード６００としては、例えば、商品を認識できるコードであればよく、例えば、１次元バーコード、２次元バーコードなどが挙げられる。
オブジェクト認識スキャナシステムにおける２次元画像信号とは、認識コード６００のフレーム画像、２次元特徴量（外観形状、色合い、模様、凹凸具合等の表面情報をパラメータで表したもの）を含む。
オブジェクト認識スキャナシステムにおける３次元画像信号とは、認識コード６００のフレーム画像、サイズ情報、カラー情報、テクスチャ情報、形状情報、視差情報、距離情報、３次元位置情報、３次元計測の信頼性を示す評価値などの特徴量を含む。

（復元手段７００）
復元手段７００は、３次元画像生成手段４００により生成された３次元画像信号に基づいて、認識コード６００の２次元外形を復元した認識コード復元画像信号を生成し、出力する。例えば、認識コード６００が一次元バーコードである場合、３次元画像信号のフレーム画像中から一次元バーコードが含まれる部分を抽出し、抽出した一次元バーコードに歪んだ部分がある場合には、その部分を直線状に復元し、復元した認識コードの２次元外形から２次元特徴量を抽出する。
認識コード復元画像信号とは、復元された認識コードのフレーム画像、２次元特徴量（外観形状等の表面情報をパラメータで表したもの）を含む。

（判定手段５１０）
判定手段５１０は、復元手段７００により復元された認識コード復元画像信号から読み取られたデータを、基準商品毎にその基準商品の識別情報を表す後述する識別情報データが保存された識別情報辞書ファイル５１の識別情報データと照合させることにより、認識コード６００がいずれの基準商品に属するか判定する。
認識コード復元画像信号から読み取られたデータとは、２次元特徴量（外観形状等の表面情報をパラメータで表したもの）を含む。

認識コード６００がいずれの基準商品に属するか判定する方法としては、例えば、認識コード復元画像信号から読み取られたデータを、識別情報辞書ファイル５１の識別情報データと順次照合して、基準商品毎にデータの類似度を算出すればよい。
類似度の算出方法は、特に限定されるものではなく、例えばヒストグラムに基づく方法、変換に基づく方法、位相に基づく方法、見かけに基づく方法等を用いて類似度を算出してもよい。なお、類似度は、例えば、一致する度合いを示す一致度（一致率）や、どの程度相関するかを示す相関値等であってもよい。すなわち類似度は、認識コード復元画像信号から読み取られたデータと、識別情報辞書ファイル５１の識別情報データとを基に得られる値であればよい。

識別情報辞書ファイル５１には、基準商品毎に、その基準商品を識別する商品ＩＤ及び商品名と関連付けて、上述したように複数の２次元特徴量からなる識別情報データが保存される。識別情報データは、対応する商品ＩＤで識別される商品の２次元特徴量（外観形状等）である特徴量をパラメータで表わしたもの(特徴量データ)で、図５に示す３次元構造認識辞書ファイル５０と同様に、１つの基準商品に対し、その基準商品を様々な方向から見たときの特徴量データ０〜Ｎがそれぞれ保存される。

図９は、オブジェクト認識スキャナシステム２のＣＰＵ（ＣＰＵ１１１、ＣＰＵ２０１）が実行する情報処理手順の要部を示す流れ図である。図９において、図６に示すオブジェクト認識スキャナシステム１のＣＰＵ（ＣＰＵ１１１、ＣＰＵ２０１）が実行する情報処理手順の要部を示す流れ図のステップと同一のものには同一の符号を付して説明を省略する。

ＳＴ３ａでは、商品の代わりに識別コードを検出する他はＳＴ３と同じである。

ステレオ画像処理（ＳＴ５：３次元画像生成手段４００）および復元処理（ＳＴ８：復元手段７００）では、図１０に示すように、光学的伝達関数(OTF)を変調させる光波面変調素子を組み込んだカメラ２台よりの個々の画像出力に対して、光学的伝達関数(OTF)に基づき画像を個別に復元させ、次にステレオ画像・３Ｄ画像処理を行う。

復元処理をし終えると、ＣＰＵは、図１１の流れ図により具体的に示される手順の認識処理を実行する（ＳＴ６ａ：判定手段５１０）。先ず、ＣＰＵは、店舗サーバ４０の識別情報辞書ファイル５１を検索する（ＳＴ６ａ１）。そしてＣＰＵは、識別情報辞書ファイル５１から１基準商品の識別情報データを読み込む（ＳＴ６ａ２）。

識別情報データを読み込めたならば、ＣＰＵは、ステップＳＴ８の処理で２次元外形が復元された認識コード復元画像信号から読み取られたデータを識別情報データが、識別情報データに対してどの程度類似しているかを示す類似度を算出する（ＳＴ６ａ３）。類似度は、値が大きいほど類似率が高いと言える。

ＣＰＵは、類似度が所定の基準閾値より高いか否かを確認する（ＳＴ６ａ４）。基準閾値は、登録商品候補として残すべき基準商品の類似度の下限である。類似度の上限値を“１００”とした場合、基準閾値は、例えばその１／５の“２０”と設定する。類似度が基準閾値より高いレベルにある場合（ＳＴ６ａ４にてＹＥＳ）、ＣＰＵは、当該識別情報データの商品ＩＤ及び商品名と、ステップＳＴ８の処理で抽出された２次元特徴量のデータと、ステップＳＴ６ａ３の処理で算出された類似度とを、登録商品候補としてＲＡＭ２０４の所定エリアに格納する（ＳＴ６ａ５）。これに対し、類似度が基準閾値を超えない場合には（ＳＴ６ａ４にてＮＯ）、ＣＰＵは、ステップＳＴ６ａ５の処理を実行しない。

しかる後、ＣＰＵは、識別情報辞書ファイル５１に未処理の識別情報データが存在するか否かを確認する（ＳＴ６ａ６）。存在する場合（ＳＴ６ａ６にてＹＥＳ）、ＣＰＵは、ステップＳＴ６ａ２の処理に戻る。すなわちＣＰＵは、識別情報辞書ファイル５１から未処理の識別情報データをさらに読み込んで、ステップＳＴ６ａ３〜ＳＴ６ａ６の処理を実行する。

こうして、識別情報辞書ファイル５１に保存されている全ての基準商品の識別情報データについて、ステップＳＴ６ａ３〜ＳＴ６ａ６の処理が実行されると（ＳＴ６ａ６にてＮＯ）、認識処理が終了する。

認識処理が終了すると、ＣＰＵは、登録商品候補となる基準商品のなかで類似度が最も高いものを、登録商品として自動的に決定する（ＳＴ７ａ）。

このように、オブジェクト認識スキャナシステムにおいては、ユーザがスキャナ装置１０の読取窓に識別コード６００をかざすと、画像取得手段３００によってこの識別コード６００が撮影される。そして、この識別コード６００の画像から生成される３次元画像信号に基いて、識別コード６００の２次元外形が復元される。次いで、復元された２次元外形から抽出された認識コード復元画像信号から読み取られたデータと、識別情報辞書ファイル５１に登録されている各基準商品の識別情報データとから、基準商品毎に２次元特徴量の類似度が算出される。そして、類似度の最も高い登録商品候補が、登録商品として決定される。そうすると、オブジェクト認識スキャナシステムでは、この選択された基準商品の販売データが登録処理される。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

５０ ３次元構造認識辞書ファイル
５１ 識別情報辞書ファイル
３００ 画像取得手段
３１０ 撮像装置
３３０ 光学系
３４０ 撮像素子
３５０ 変換部
３６０ 光波面変調素子
４００ ３次元画像生成手段
５００，５１０ 判定手段
６００ 被写体（認識コード）
７００ 復元手段

Claims (5)

1. 光学的伝達関数（OTF）を変調させる光波面変調素子を含む光学系、この光学系を通過した被写体像を撮像する撮像素子、およびこの撮像素子からの被写体分散画像信号より分散のない２次元画像信号を生成する変換部を少なくとも有する撮像装置が２個以上組み込まれた画像取得手段と、
   各撮像装置から取得した２次元画像信号を用いて前記被写体像の３次元画像信号を生成する３次元画像生成手段とを備えることを特徴とするオブジェクト認識スキャナシステム。
2. 前記画像取得手段は、前記撮像装置を２個有し、
   前記３次元画像生成手段は、各撮像装置から取得した２次元画像信号を用いてステレオ画像処理をし、前記被写体像の３次元画像信号を生成する請求項１に記載のオブジェクト認識スキャナシステム。
3. 前記３次元画像生成手段により生成された３次元画像信号に基づくデータを、認識対象物毎にその認識対象物の３次元構造情報を表わす３次元モデルデータが保存された３次元構造認識辞書ファイルの前記３次元モデルデータと照合させることにより、前記被写体像がいずれの認識対象物に属するか判定する判定手段を備える請求項１または２に記載のオブジェクト認識スキャナシステム。
4. 前記被写体像が認識コードであり、
   前記３次元画像生成手段により生成された３次元画像信号に基づいて、前記認識コードの２次元外形を復元した認識コード復元画像信号を生成する復元手段と、
   前記復元手段により復元された認識コード復元画像信号から読み取られたデータを、認識対象物毎にその認識対象物の識別情報を表す識別情報データが保存された識別情報辞書ファイルの前記識別情報データと照合させることにより、前記被写体像がいずれの認識対象物に属するか判定する判定手段と、を備える請求項１または２に記載のオブジェクト認識スキャナシステム。
5. 前記認識コードは、１次元バーコードまたは２次元バーコードである請求項４に記載のオブジェクト認識スキャナシステム。